Análisis ciego

Cuando nos sentamos delante del ordenador y abrimos nuestra amada herramienta de analítica web, debemos ser conscientes, por muy enamorados que estemos de ella, de que no nos dice toda la verdad. Para poder ver las cosas como realmente son, debemos levantar la cabeza y enfocar la vista más allá de las visitas, del porcentaje de rebote, de la procedencia de los usuarios, de las principales páginas de entrada y sus respectivas palabras clave, del ROI, de los objetivos y del ratio de conversiones.

Es imprescindible que salgamos del laberinto de métricas, y que lo veamos desde fuera. Es una cuestión de perspectiva. Sin ella, no pasamos de vernos el ombligo, y podemos cometer, como analistas, errores de bulto. «La verdad está ahí fuera»… Y si nos quedamos dentro de los muros de Analytics, Omniture, Webtrends…, nunca la encontraremos.

Voy a poner un ejemplo sencillo, casi tonto. Supongamos que estamos delante de los datos de una empresa que tiene delegaciones en Valencia, Castellón, Madrid y Sevilla. Cuando segmentamos los usuarios por ciudad, vemos que las visitas de Castellón se comen un trozo muy pequeño de la tarta (en verde)…

¿Qué podemos concluir de esto? ¿Que la delegación de Castellón va mal? ¿Que los usuarios procedentes de Castellón son pocos? Si sólo tuviéramos los datos que nos da nuestra herramienta de análisis web, sería la única conclusión posible. Pero con pensar sólo un poco, y buscar información por «ahí fuera», la perspectiva cambia radicalmente.

¿Qué población tienen Castellón, Madrid, Sevilla y Valencia? Según la Wikipedia, los datos son los siguientes:

• Castellón: 180.005
• Madrid: 3.255.944
• Sevilla: 703.206
• Valencia: 814.208

Es evidente que la población de Castellón no es comparable a la de las otras tres ciudades. Si nos inventamos un concepto en plan «índice de penetración», y calculamos el porcentaje que representan los usuarios de cada ciudad con sus respectivas poblaciones, veremos que Castellón no está mal. Bajo ese prisma, es Madrid la ciudad que necesita atención, puesto que aunque se come un trozo enorme de la tarta, el porcentaje de usuarios con respecto a su población es el menor de todos.

Otro ejemplo: tenemos que analizar la web de una empresa que vende online consolas de videojuegos. Nos curramos un análisis de regresión acojonante, y determinamos una ecuación lineal que nos muestra la tendencia de crecimiento de las visitas… Una pasada, vamos. Nos sentimos como el mejor de los «analistas ninja» del planeta. Con un mes por adelantado, predecimos que las visitas de diciembre andarán por X mil. ¡Y acertamos! Las visitas han crecido, y nosotros hemos dado con el número correcto, dentro de un margen de error más que aceptable. Presentamos nuestro informe contentos, orgullosos, y decimos que todo va de maravilla. Y un cuerno.

Hemos determinado una tendencia «natural» al alza, y esa tendencia se ha cumplido. Pero, ¿hemos visto bien el calendario? Estamos hablando de diciembre. Las cosas irían bien si en diciembre notáramos un volumen de visitas muy por encima de la tendencia «natural». ¿O es que en Navidad no se regalan consolas de videojuegos? El mismo ejemplo vale para el volumen de ventas, y el precio medio de las ventas en ese mes.

Y que conste que no estoy hablando de «web intelligence» en un nivel profundo. Lo único que digo es que debemos fijarnos en cosas tan simples como población y fechas determinadas, y porque no he puesto más ejemplos. A estas alturas me imagino que quien lea esto ya tiene varios en la cabeza.

En otras palabras, y a riesgo de ser pesadamente repetitivo, no debemos dejar que el amor nos ciegue. Nuestras herramientas de análisis son adorables, y como frikis que somos es normal que perdamos la cabeza por ellas, pero no debemos olvidar que nos mienten. Que si nos dejamos seducir seremos incapaces de ver más allá de ellas. Como analistas profesionales no podemos dejarnos atrapar. Debemos abrir los ojos y ver.

Un último ejemplo (se me ha ocurrido ahora y me mola): estamos analizando una web de reservas hoteleras. Vemos que las reservas han aumentado un 50% en el último mes. ¿Es bueno o es malo? Depende. Si el último análisis del sector hotelero habla de una caída generalizada de las reservas es mejor que bueno. Pero si los datos de «fuera» hablan de un crecimiento de las reservas de un 300%, estamos fatal.