Agrupamos 120 mediciones propias: una cuota de estabilidad informa sobre todo de lo ancha que fue la respuesta

Todas las herramientas de esta categoría informan de lo consistentes que son tus citas, y nosotros también. Agrupamos 120 de nuestras propias mediciones publicadas, de cuatro mercados y cinco estudios distintos, para ver de qué informa de verdad ese porcentaje. El conjunto de fuentes que aguanta en todas las pasadas es una banda estrecha casi en todas partes: una mediana de seis dominios, con el ochenta por ciento central entre tres y once. Lo que varía es cuántas fuentes citó la respuesta, y eso va de cuatro a treinta y cinco.

Divide un número que apenas se mueve entre uno que varía nueve veces y sale un porcentaje que parece una medición de la categoría y se comporta como una medición de la pregunta.

Aviso: EchoWi vende medición de visibilidad en IA, así que un estudio que concluye que una métrica muy vendida es en parte un artefacto es un estudio con interés, y este va contra nuestros propios porcentajes publicados antes que contra los de nadie. Aquí no se midió nada nuevo. Cada cifra se recalcula desde filas que ya están en nuestro registro de mediciones, cada una con su consulta, mercado, superficie, fecha y número de pasadas, y con eso cualquiera puede repetir la aritmética contra nosotros.

La versión corta

1. El núcleo estable es una banda estrecha. Mediana de 7 dominios, percentil diez en 4 y percentil noventa en 12. Eso aguanta en cuatro mercados y cinco estudios.
2. La amplitud citada no es estrecha. De 4 a 35 dominios, mediana 15.
3. Así que la cuota cae según se ensancha la respuesta. Con dos pasadas: 70 % donde se citaron doce dominios o menos, 47 % en la banda intermedia, 41 % por encima de veinte. Con tres pasadas: 60, 29 y 26.
4. La correlación es negativa y moderada, de −0,45 entre cuántos dominios se citaron y qué proporción de ellos aguantó. Que sea moderada importa, y la sección de límites dice por qué.
5. El control es la cifra más limpia de aquí. 8 filas de una sola pasada, de cuatro estudios distintos, puntúan las siete 100 %, porque con una pasada no hay de qué faltar.
6. Un sexto conjunto invierte el signo, y va nombrado abajo en vez de descartado.

Qué se agrupó, y qué se dejó fuera

Cinco estudios, todos ya publicados y con sus filas a la vista: el de redacciones, el de preguntas de reserva de viaje, el barrido de agencias por sector, el de categorías con plazas de citación y las sondas de capa de respuesta. Cuatro mercados, cinco combinaciones de superficie, 120 filas con dos o más pasadas.

Dos exclusiones, y las dos le cuestan al hallazgo en vez de ayudarlo.

Las filas de una sola pasada no entran en la correlación. Con una pasada, todo dominio citado volvió en todas las pasadas, así que la cuota es 100 % por construcción. Eso es el artefacto, no un dato. Se cuentan aparte, porque un control que confirma que el instrumento se comporta como debe vale más que siete filas extra.

Una colección queda fuera porque un lector no puede comprobarla. Nuestro registro renderiza todos los conjuntos de medición menos uno, declarado como exención en el fichero de datos porque no sostiene ninguna cifra publicada. Da la casualidad de que es el único de los seis cuyo signo va al revés, con n=6. Quitarlo saca la excepción del titular, que es exactamente para lo que existe este párrafo: incluyéndolo, la correlación es −0,29 entre las filas de dos pasadas y −0,51 entre las de tres, y la conclusión no cambia.

Los recuentos de pasadas se mantienen separados en vez de promediarse. Con dos pasadas una fuente tiene que aparecer dos veces para ser estable; con tres, tres veces. Son listones distintos, así que mezclarlos fundiría dos definiciones en un porcentaje, que es justo el error del que trata este artículo.

Las cifras

Lo ancha que fue la respuesta, contra cuánto de ella aguantó:

Lee hacia abajo la columna de «mediana de estables» en cada bloque. Con dos pasadas va 6, 8, 10 mientras las respuestas de detrás casi se triplican en anchura. Con tres pasadas va 5, 5, 6.

El numerador está haciendo muy poco trabajo. El denominador está haciendo casi todo, y el denominador es una propiedad de la pregunta y del día, no de lo asentada que esté la categoría.

La dispersión, dicha en claro:

Esas dos correlaciones son el hallazgo en una línea. Citar más sí trae algo más de estabilidad en términos absolutos, +0,48, y trae proporcionalmente menos, −0,38. Las dos son ciertas a la vez y solo la segunda llega a un panel.

Por qué esto hace insegura la comparación entre categorías

Pon dos categorías al lado. Una devuelve una respuesta estrecha de ocho fuentes y seis aguantan: 75 %. La otra devuelve una respuesta amplia de treinta fuentes y aguantan nueve: 30 %.

En el porcentaje, la primera parece más del doble de asentada. En lo que un comprador puede accionar, la segunda tiene más fuentes estables que perseguir, y su núcleo es la mitad más grande.

Esto no es hipotético. Es la forma de la tabla de arriba, y es la razón de que nuestros propios estudios nunca hayan ordenado categorías por cuota de estabilidad. El trabajo de plazas de citación compara qué dominios sostienen plaza en vez de qué fracción lo hizo, y el estudio entre categorías cuenta dominios que atraviesan en vez de promediar sus cuotas. Aquello fue un criterio en su momento. Esta es la medición que lo justifica.

La versión práctica: una cuota de estabilidad es comparable consigo misma a lo largo del tiempo sobre la misma pregunta, y no es comparable entre preguntas. Dos categorías, dos mercados, dos redacciones, o la misma pregunta un día en que la respuesta citó más fuentes, son cuatro denominadores distintos con una sola etiqueta.

Qué no derriba esto

Sería fácil leerlo como «las cifras de estabilidad no significan nada», y eso no es lo que sostienen 120 filas.

El conjunto estable es real. Es la parte de estas mediciones que ha sobrevivido a todas las comprobaciones que le hemos hecho: sobrevivió a releer la misma pregunta, sobrevivió a reescribirla, y donde la cuota ha oscilado cincuenta puntos la identidad de las fuentes de debajo se movió mucho menos. Esa es la razón entera de que nuestros estudios publiquen nombres de dominio.

Una cuota que baja en una pregunta congelada sigue siendo señal. Si la pregunta no cambia, el mercado no cambia y el número de pasadas no cambia, una caída de la cuota significa que el núcleo encogió o que la respuesta se ensanchó, y las dos cosas conviene saberlas. Lo que no se puede es leer el número de una categoría contra el de otra.

Y el efecto es una tendencia, no una ley. Una correlación de −0,38 deja sin explicar la mayor parte de la variación. La amplitud de la respuesta es una entrada de ese porcentaje, demostrablemente, y no es la única.

Qué preguntarle a un proveedor, y es la segunda pregunta

Ya hemos publicado la primera pregunta que hacerle a cualquier proveedor de visibilidad en IA: ¿tus pasadas repetidas saltan la caché? Si no la saltan, la línea de tendencia es plana por construcción y estás comprando una recta.

Esta es la segunda. Pregunta cuál es el denominador de tu cuota de estabilidad y si se mantiene constante.

Solo hay unas pocas respuestas posibles. Si la cuota es fuentes estables sobre fuentes citadas, se mueve cuando la respuesta se ensancha, y eso no es un cambio en tu visibilidad. Si es sobre un universo fijo que define el proveedor, pregunta qué hay en ese universo. Y si es un recuento crudo de fuentes estables, esa es la más honesta de las tres y la que menos probable es que esté en la portada de un panel, porque no escala a porcentaje.

De ahí sale una tercera pregunta: ¿de cuántas pasadas está hecha la cuota, y ese número se enseña al lado? Nuestras filas de dos pasadas y las de tres producen medianas distintas para el mismo listón de anchura, 8 contra 5 en la banda intermedia, solo porque el listón se movió. Un porcentaje sin su número de pasadas al lado no se puede leer.

Un estudio hermano pregunta qué le pasa a ese porcentaje a lo largo de dos días en vez de dentro de uno: las mismas quince preguntas, repetidas dos días después, donde la mejor y la peor fila se movieron las dos al leerlas por segunda vez esa misma tarde.

Qué no demuestra

Observacional, y agrupado. Estas 120 filas se recogieron para cinco estudios distintos con preguntas, verticales y superficies distintas. No se aleatorizó nada y no se mantuvo constante nada salvo el número de pasadas, que va segmentado. Esto describe una relación en datos que ya teníamos; no establece que ensanchar una respuesta cause una cuota menor.

Las bandas son desiguales. Una celda tiene cinco filas. Lo que sostiene el hallazgo es que la dirección es consistente en las seis celdas y en cinco de seis estudios, no ninguna celda suelta.

La muestra son nuestros propios estudios. Cada fila es una pregunta que elegimos hacer, en un mercado en el que vendemos, sobre las superficies de las que disponemos. Otra muestra de categorías daría otras medianas. Lo que esperaríamos que sobreviviera es la forma: un núcleo estable estrecho contra un denominador variable.

Una sola familia de superficies, sobre todo. La mayoría de las filas vienen de AI Overview y AI Mode de Google. Hemos publicado que los conjuntos de fuentes no se trasladan entre superficies, así que las medianas de aquí no deben leerse como universales para cualquier asistente.

Y ninguna dimensión temporal. Estable aquí significa «volvió en todas las pasadas de una lectura». Si un núcleo que aguanta dentro de una sesión aguanta también a lo largo de semanas es lo más grande que este registro sigue sin poder contestar, y agrupar más filas no lo contesta. Hace falta volver a lanzar las mismas preguntas congeladas cuando haya pasado tiempo, que es medición y no aritmética.

Preguntas frecuentes sobre las cuotas de estabilidad

¿Qué es una cuota de estabilidad en una herramienta de visibilidad en IA?

Es la proporción de fuentes citadas para una pregunta que vuelven cada vez que se lanza, y todos los productos de esta categoría informan de alguna versión de ella. El número en sí está bien definido. El problema es que es un cociente cuya mitad de abajo, cuántas fuentes citó la respuesta, va de cuatro a treinta y cinco en nuestras mediciones y es una propiedad de la pregunta y del día, no de tu visibilidad.

¿Por qué un porcentaje menor no significa una categoría menos asentada?

Porque el núcleo estable apenas se mueve. En 120 mediciones su mediana es de siete dominios y el ochenta por ciento central cae entre tres y once, tanto si la respuesta citó ocho fuentes como si citó treinta. Así que una categoría cuyas respuestas son amplias puntúa un porcentaje menor teniendo a menudo más fuentes estables en términos absolutos, que es lo contrario de lo que sugiere el número.

¿Puedo comparar mi cuota de estabilidad con la de un competidor?

Solo si os están midiendo con la misma pregunta, en el mismo mercado, en la misma superficie, con el mismo número de pasadas y el mismo día. Cambia cualquiera de esas cosas y el denominador cambia debajo del porcentaje. Comparar las dos listas de dominios estables es seguro y comparar los dos porcentajes no lo es, que es por lo que nuestros propios estudios publican los dominios.

¿De cuántas pasadas debería salir una cifra de estabilidad?

De más de dos, y el número tiene que estar visible al lado. Con dos pasadas una sola ausencia saca una fuente entera del numerador, así que un cambio pequeño produce un vaivén grande. Nuestras filas de dos y de tres pasadas dan medianas distintas para respuestas igual de anchas, 8 contra 5 en la banda intermedia, solo porque el listón de «estable» se movió. La tolerancia se compra con pasadas, no con un estadístico más listo.

¿Es buena noticia una cuota de estabilidad del 100 %?

Mira antes el número de pasadas. Cinco filas de este registro puntúan 100 % y las cinco son lecturas de una sola pasada, de tres estudios distintos, donde todo dominio citado es estable porque no había de qué faltar. Eso es el instrumento comportándose como debe, no un resultado. Un 100 % de verdad con tres pasadas o más sí vale, y vale volver a medirlo, porque el mejor número de un estudio es el más barato de comprobar y el que más cambia la conclusión si se cae.

¿Qué debería seguir en su lugar?

El conjunto de dominios, por nombre, y su tamaño. Un recuento de fuentes estables es honesto, comparable consigo mismo, y te dice dónde trabajar: esas son las páginas con las que se está montando la respuesta de tu categoría. El porcentaje es la misma información dividida entre algo que no controlas y no puedes comparar, y si quieres un solo número, el recuento es el que sobrevive a todas las comprobaciones de este artículo.