7 Errores habituales en A/B testing y CRO

Seamos sinceros. Son 7 errores que he cometido. 7 dolorosas lecciones que no olvidaré.

  1. Testear sin hipótesis. Lo que llamo "mAyBe testing", o testear por instinto, imitación o gurusismo. Siempre que hagamos un cambio. debemos intentar entender porqué afecta a las conversiones, y no confundir correlación con causalidad.
  2. Obsesionarse con los quickwins. Si buscas el test que cambiando un botón te doble la conversión o bien estás en un sitio donde el margen de mejora roza el infinito, o simplemente, vas a perder mucho tiempo. Esto va de conocimiento del cliente y de muchos cambios. No hay atajos ni trucos. No pierdas tiempo buscándolos, y de vez en cuando, encontrarás alguno.
  3. Copiar los tests de otros. Consecuencia directa de los errores #1 y #2. Sino tienes hipótesis y buscas "petardazos" (en lugar de buscar cómo conocer que mueve a tus usuarios a convertir), eres carne de infografía. No me harás caso. Testearás lo que dice la infografía. Funcionará. Claro. Lo que no te dicen es que la mejora será mayor si testeas lo que tu usuario necesita. Lo que funciona para otros, no tiene que funcionar para tí.
  4. Sólo testear. ¿Cómo?. CRO no es sólo testear mejoras de algo que ya existe (normalmente con tests MVT), de hecho en CRO testear es sólo una etapa, la de experimentación. Si no te arremangas y empiezas a proponer alternativas y mejoras para algún A/B, nuevas funcionalidades, etcétera, te encontrarás haciendo MVT's para rascar un 1% de mejora, cuando un cambio representa una mejora mayor. Si una página es un desastre: cambiala. No hay cien MVTs que levanten eso.
  5. Data dredging. Habrás oído alguna vez eso de: "If You Torture The Data Enough, It Will Confess Anything". Como explica Lance Kidwell en este brilliante post, puedes acabar utilizando los datos para demostrar casi cualquier cosa. Si un test no funciona, revisa la hipótesis, revisa el test, y vuélvelo a intentar. Pero si se demuestra a la segunda que no funciona... No pierdas el tiempo, y a otra cosa mariposa.
  6. Olvidarse del usuario de tu web: Es decir, sólo testear elementos de navegación o diseño sin testear propuestas de valor, llamadas a la acción, distintos copies, mensajes de refuerzo, dar explicaciones a sus preguntas (FUD's). Recuerda que ahí fuera hay alguien que necesita algo y nuestra web es un problema entre él y lo que solventa su necesidad. Pónselo facil.
  7. Confundir correlación y causalidad. Pero no te lo explicaré ahora. Como es un tema bastante gordo, hay otro post para ello.

Así que aprende de mi y de tantos otros que hemos cometido estos errores e intenta evitarlos. Y no pasa nada porque fallemos. Simplemente, debemos fallar rápido, levantarnos y volverlo a intentar.

Just fail fast.

¿Has cometido algún error en Testing o CRO? ¿Como por ejemplo... no testear?