Repetimos quince preguntas congeladas dos días después: el mejor resultado del conjunto no sobrevivió a su propio control

Toda herramienta de visibilidad vende una línea en un gráfico, y una línea necesita la misma pregunta hecha dos días distintos. Nunca lo habíamos hecho. El 10 de agosto congelamos quince preguntas de compra y anotamos, por nombre, cada dominio que volvió en las tres pasadas. El 12 de agosto lanzamos las mismas quince en la misma superficie, en los mismos mercados y con las mismas tres pasadas. Trece filas son comparables, y su solapamiento mediano con el conjunto anterior es 0,63.

Esa cifra es casi exactamente lo que ya nos cuestan dos sesiones de la misma tarde. Lo interesante no es la mediana: es que la fila más alta y la más baja del conjunto se movieron las dos con solo volver a leerlas.

Aviso: EchoWi vende medición de visibilidad en IA, así que un estudio que sostiene que el movimiento de un día para otro es sobre todo ruido es un estudio con interés, y va contra un gráfico que también podríamos vender nosotros. Las quince preguntas, la superficie, los dos mercados, el número de pasadas y las dos fechas están abajo, y cada fila, incluidos los dos controles, está en nuestro registro de mediciones, así que cualquiera puede repetirlo contra nosotros.

La versión corta

1. Trece de quince filas son comparables, es decir, tres pasadas respondidas los dos días. El solapamiento mediano de los conjuntos estables es 0,63, con un rango de 0,00 a 1,00.
2. Esa mediana no se distingue de preguntar dos veces el mismo día. Dos sesiones de la misma jornada nos han dado entre 0,67 y 0,70 en trabajos anteriores, y las relecturas dentro de una sola sesión 0,63. Dos días caen en el mismo sitio.
3. Los dos controles se movieron, y ese es el hallazgo. La única fila que devolvió un conjunto idéntico a los dos días bajó a 0,67 al releerla esa tarde. La única que no devolvió nada estable subió a 0,25.
4. Una cuota de estabilidad diaria impecable no predice nada sobre dos días después. Cuatro categorías puntuaron 100 % en las dos lecturas y su solapamiento entre días fue de 0,25 a 0,75.
5. Lo que persiste es una capa de editores, no las fuentes propias de la categoría. YouTube aguantó en diez de las trece categorías y Reddit en cuatro. En las nueve filas estadounidenses sobrevivieron dos días 3 de 19 dominios de fabricante frente a 32 de 59 del resto.

Qué se congeló, y por qué ahí está todo el truco

Una fila de estabilidad suele guardar un recuento: esta pregunta citó veintidós dominios y siete volvieron en todas las pasadas. Eso basta para publicar un porcentaje y no basta para hacer esta pregunta. Dos días después puedes ver si el recuento se movió. No puedes ver si se movieron las fuentes, y son afirmaciones distintas que un recuento no separa.

Las filas del 10 de agosto anotaron los dominios estables por nombre. Esa es la única razón de que este estudio exista. Nuestras propias filas de reserva de viaje de esa misma semana solo guardaron recuentos, así que no pueden contestarlo nunca, y eso es un defecto de diseño de nuestro registro y no una limitación de la superficie.

El conjunto congelado son quince preguntas de compra de alta intención, nueve en Estados Unidos en inglés y seis en España en español, cada una en una superficie con tres pasadas. El 12 de agosto salieron las cadenas idénticas con los ajustes idénticos. Dos filas quedaron fuera de la comparación y van nombradas en vez de descartadas en silencio: la pregunta estadounidense de soporte al cliente no devolvió resumen ninguno la segunda fecha, que es un suceso distinto de no citar nada, y la española de gestores de contraseñas contestó una vez de tres, así que su conjunto estable es de una sola pasada y no se compara con uno de tres.

Las trece filas

El solapamiento son los dominios compartidos divididos por la unión de los dos conjuntos. Conserva cuenta los dominios presentes en las tres pasadas de las dos fechas.

La fila mediana es la de gestores de contraseñas en Estados Unidos, que compartió cinco dominios sobre una unión de ocho. Cualquiera puede repetir esa división.

Los dos controles, y son el hallazgo y no una nota al pie

Una tabla como la de arriba invita a leer la primera fila como una categoría estable y la última como una volátil. Las dos lecturas son falsas, y la forma más barata de descubrirlo es volver a hacer esas dos preguntas la misma tarde.

La mejor fila. Hosting web en Estados Unidos devolvió los cinco dominios idénticos con dos días de diferencia: Reddit, CNET, YouTube, Forbes y TechnologyAdvice. Un 1,00 perfecto, el único del conjunto. Releída unos minutos después, con las mismas tres pasadas, sale CNET y entra ZDNet. Cuatro compartidos sobre una unión de seis son 0,67, así que la misma fila medida dos veces el mismo día da dos respuestas distintas sobre lo que hicieron dos días.

La peor fila. Email marketing en Estados Unidos no devolvió nada que sobreviviera a las tres pasadas, lo que puntúa 0,00 contra una línea base de veintitrés dominios estables. Releída esa misma tarde devuelve siete, y esos siete son exactamente los siete que una hora antes habían llegado a dos pasadas de tres. Recalculado contra la misma línea base, el solapamiento es 0,25.

El segundo control es el que enseña la mecánica. Las fuentes estaban en las dos lecturas. Lo que cambió es si todas las pasadas las cazaban, y un conjunto estable no tiene tolerancia con tres: una pasada despistada tira un dominio entero fuera del numerador. Un 0,00 ahí no significaba que la categoría se hubiera vaciado. Significaba que el listón es de todo o nada y la moneda cayó mal.

Así que la lectura honesta de la tabla es que ninguna fila suelta es un hallazgo, ni en un sentido ni en el otro. La mediana de las trece filas es la cifra citable, con los dos controles impresos al lado, y aun así es una sola tirada.

Una puntuación diaria perfecta no predice la semana

Cuatro categorías devolvieron una cuota estable del 100 % en las dos fechas, es decir, todos los dominios que citó la respuesta volvieron en las tres pasadas, dos veces, con dos días de diferencia. En cualquier panel eso es una categoría con citas máximamente estables.

Contabilidad puntuó impecable en las dos lecturas y reemplazó nueve de sus trece fuentes por el camino. QuickBooks, Xero, Wave, FreshBooks, Invoicefly y Lettuce eran estables el 10 de agosto y ninguna lo era el 12. La cifra diaria no se enteró, porque solo puede ver dentro de una lectura.

En las trece filas, la correlación entre la cuota diaria de la primera fecha y el solapamiento entre días es −0,30. No es una relación fuerte en ninguna dirección, y ese es el punto: el número que enseña tu panel hoy no lleva información sobre si esas mismas fuentes van a estar el jueves.

Lo que persiste es una capa de editores, no las plazas que un fabricante puede ganar

Separar los dominios estables por lo que vende cada uno cambia el cuadro, y esta es la parte con filo comercial.

En las filas estadounidenses las fuentes que venden el producto por el que se pregunta son las que rotan, mientras aguantan los editores, los foros y el vídeo. En las filas españolas no hay diferencia ninguna. Es una separación real y va sobre números pequeños, nueve observaciones de fabricante en España frente a diecinueve en Estados Unidos, así que aquí va como recuento y no como tasa, y necesita su propio estudio antes de que nadie lo llame diferencia de mercado. Ese estudio ya existe: preguntar las mismas tres categorías en los cuatro mercados enseña que casi toda esta diferencia era mezcla de categorías, porque contabilidad es la única que da plazas a fabricantes en cualquier sitio.

Lo que cruza categorías es una lista corta. Contando en cuántas de las trece categorías aguantó cada dominio en las dos fechas: YouTube en diez, Reddit en cuatro, Forbes en tres, Zapier en tres, PCMag en dos y CNBC en dos. Esos seis son los únicos dominios que aguantaron en más de una categoría, y ninguno vende CRM, nóminas ni hosting.

Esa es la estructura duradera por la que pregunta esto de verdad. La lista de fabricantes de una categoría rota. La capa de propósito general que hay encima, no.

Qué hacer con esto si estás comprando un seguimiento

Tres preguntas, en orden de cuánto cambian lo que estás pagando.

¿Un movimiento de tu gráfico viene con los dominios? Un porcentaje que cae de 62 a 41 puede significar que cambiaron las fuentes o que una pasada de tres se dejó dos. Son situaciones opuestas y solo la lista de nombres las distingue. Si el producto no te enseña qué dominios entraron y salieron, esa línea no es reportable.

¿Cuántas redacciones sigue por intención? Nuestro trabajo anterior encontró cuatro formas de la misma pregunta hotelera española sin ni un dominio común a las cuatro. Un seguimiento que persigue una sola cadena está persiguiendo la estabilidad de una frase.

¿Cuántas pasadas hay detrás de un solo punto? Con tres pasadas, un conjunto estable es de todo o nada, y el control de email marketing enseña lo que eso cuesta. La tolerancia se compra con pasadas, no con un estadístico más listo.

Cuatro puntos en el eje, y la deriva no alcanza su propio umbral

Esta pieza midió dos días. Las mismas cinco celdas estadounidenses se han releído desde entonces a los cuatro días y a los seis, siempre contra la misma línea base del 10 de agosto, así que el eje tiene ya cuatro puntos y no un antes y un después.

La cifra de dos días aquí es 0,60 y el titular de este artículo es 0,63, porque son conjuntos distintos: 0,63 son todas las filas comparables de todos los mercados y 0,60 es sólo Estados Unidos, que es el único mercado que cubren las relecturas posteriores. Comparar una cifra de dos mercados con una de uno haría parecer el primer escalón del eje más empinado de lo que es.

Seis días queda por debajo de todos los puntos anteriores, y no alcanza el listón que pusimos antes de correrlo. El umbral escrito primero decía que una afirmación de deriva necesita que la mediana caiga y que cuatro o cinco de las cinco celdas caigan contra su propia lectura de cuatro días. La mediana cayó, de 0,50 a 0,32 con un rango de 0,24 a 0,42. Las celdas fueron 3 abajo y 1 arriba de 4, con 1 excluida porque el hosting web paró en dos pasadas y luego en una, y un conjunto duradero de dos pasadas es otro listón.

Así que esto se publica como lo que es: un cuarto punto que continúa una caída, sobre cinco celdas comparables menos que el brazo de dos días, con una dirección por celda que se queda corta de lo que dijimos que nos convencería. Quien cite 0,32 como la tasa de deriva a seis días está citando una mediana de cuatro números.

Lo que no está pasando es que las respuestas se estrechen. Contabilidad pasó de 13 dominios duraderos a 11, nóminas de 11 a 15, gestores de contraseñas de 7 a 10. El solapamiento cae mientras los conjuntos mantienen su tamaño o crecen, así que esto es sustitución y no encogimiento: otras fuentes, no menos.

Lo que esto no demuestra

Una superficie y dos mercados. Todo esto es una sola superficie de respuesta, en Estados Unidos en inglés y en España en español. Nada de aquí se traslada a otra superficie ni a otro país sin medir allí.

Quince preguntas, una lectura de línea base, una repetición. Las cifras del 10 de agosto son una sola lectura, y cada cifra del 12 también. Los dos controles existen precisamente porque con esta muestra no podemos separar un efecto del día del movimiento normal entre lecturas, y sugieren que los dos tienen el mismo tamaño.

Dos días no son una semana ni un trimestre. Un hueco así de corto es la versión más barata posible de este estudio. Dice que dos días no se distinguen de una tarde. No dice nada sobre si un cambio estacional real se vería, y esperaríamos que sí.

El listón de todo o nada está haciendo trabajo. Un dominio presente en dos pasadas de tres es invisible para un conjunto estable. Esa elección es defendible y es una elección, y la fila de email marketing es lo que cuesta cuando cae mal.

Dos de las quince filas no son comparables, y las dos van nombradas arriba en vez de disueltas en el denominador.

Nada de esto es causal. Son observaciones de una superficie que replanifica la recuperación en cada petición. No se hizo ninguna intervención y ninguno de estos movimientos tiene causa establecida.

Para ver cómo se comporta el porcentaje de un solo día y por qué manda la amplitud, la pieza hermana sobre qué mide una cuota de estabilidad agrupa noventa y una de nuestras filas publicadas. Para el conjunto congelado que este estudio repite, está quién tiene las plazas de citación.

Preguntas frecuentes sobre seguir las citas en el tiempo

¿Cuánto cambian las citas de IA de un día para otro?

En trece preguntas de compra lanzadas en una superficie de respuesta con dos días de diferencia, el solapamiento mediano entre los conjuntos de dominios que aguantaron en todas las pasadas fue de 0,63, en una escala donde 1,00 significa conjunto idéntico. El rango por categorías fue de 0,00 a 1,00. Esa mediana está al nivel de lo que medimos entre dos lecturas de la misma tarde, así que con esta muestra un hueco de dos días no cuesta más que volver a preguntar después de comer.

¿Una cuota de estabilidad alta significa que mis fuentes no están cambiando?

No, y es la lectura equivocada más cara que hay disponible. Cuatro categorías puntuaron una estabilidad diaria perfecta en las dos fechas, es decir, todo dominio citado volvió en todas las pasadas, dos veces. Su solapamiento de fuentes a dos días fue igualmente de 0,25 a 0,75. Una categoría conservó cuatro de sus trece fuentes puntuando impecable los dos días. Una cifra diaria solo puede ver dentro de una lectura.

¿Por qué una pregunta no devolvió ninguna fuente estable?

Porque un conjunto estable contado sobre tres pasadas es de todo o nada: un dominio que falte en una se cae entero. La pregunta de email marketing no devolvió nada estable en una lectura y siete una hora después, y esos siete eran exactamente los dominios que en la primera lectura habían llegado a dos pasadas de tres. Las fuentes estaban las dos veces. Lo único que cambió fue si todas las pasadas las cazaban.

¿Qué debería seguir en vez de un porcentaje de estabilidad?

El conjunto de dominios, y seguirlo en varias categorías en vez de en una. En este estudio lo único que aguantó en más de una categoría fueron fuentes de propósito general: YouTube en diez de trece categorías, Reddit en cuatro, Forbes y Zapier en tres cada uno. La presencia de un fabricante en su propia categoría es la parte volátil, lo cual es incómodo porque es además la parte que estás pagando por mover.

¿Cuántas pasadas necesita una cifra de citación?

Más de tres si quieres un conjunto estable con algo de tolerancia, porque con tres no tiene ninguna. La alternativa de pasarse a una tasa media de citación no lo arregla: con dos pasadas esa media es un reescalado lineal de la misma cuota y no aporta información. La tolerancia se compra con pasadas, no con otra fórmula.

¿Puedo repetir esta medición yo mismo?

Sí, y para eso se publican las preguntas. Congela un conjunto de preguntas de compra de tu categoría, anota para cada una los dominios que aparecen en todas las pasadas y no solo el recuento, y vuelve a lanzar las mismas cadenas en la misma superficie tras un hueco. Anotar los nombres en vez del recuento es el paso que hace posible la comparación.