Nube de intelixencia optimizada: como usar o motor de estatísticas para probar A / B de xeito máis intelixente e rápido

Estratexias de proba de motor e A / B optimizely Stats

Se estás a buscar un programa de experimentación para axudar ao teu negocio a probar e aprender, é probable que esteas a usar Nube de intelixencia Optimizely - ou polo menos xa o miraches. Optimizely é unha das ferramentas máis poderosas do xogo, pero como calquera outra ferramenta, pode usala mal se non entendes como funciona. 

Que fai que Optimizely sexa tan poderoso? O núcleo do seu conxunto de funcións reside no motor de estatísticas máis informado e intuitivo dunha ferramenta de terceiros, o que lle permite concentrarse máis en facer probas importantes en directo, sen ter que preocuparse de que está mal interpretando os seus resultados. 

Como un estudo cego tradicional en medicina, A proba A / B amosará aleatoriamente diferentes tratamentos do seu sitio con diferentes usuarios para despois comparar a eficacia de cada tratamento. 

As estatísticas axúdannos a facer inferencias sobre a eficacia que pode ter ese tratamento a longo prazo. 

A maioría das ferramentas de proba A / B dependen dun dos dous tipos de inferencia estatística: estatísticas frecuentistas ou bayesianas. Cada escola ten varios pros e contras: as estatísticas frecuentistas requiren que se fixe un tamaño de mostra antes de realizar un experimento, e as estatísticas bayesianas preocúpanse principalmente en tomar boas decisións direccionais en lugar de especificar unha única cifra de impacto, por poñer dous exemplos. A superpotencia de Optimizely é que é a única ferramenta do mercado hoxe en día para levar un o mellor dos dous mundos visión.

O resultado final? Permite aos usuarios realizar experimentos de xeito máis rápido, fiable e intuitivo.

Con todo, para sacar o máximo proveito diso, é importante comprender o que está pasando entre bastidores. Aquí tes 5 ideas e estratexias que che permitirán usar as capacidades de Optimizely como un profesional.

Estratexia n.o 1: Comprenda que non todas as métricas son iguais

Na maioría das ferramentas de proba, un problema que se pasa por alto é que cantas máis métricas engades e segues como parte da proba, máis probabilidades de ver algunhas conclusións incorrectas debido ao azar (nas estatísticas chámase "problema de probas múltiples" ”). Para manter os seus resultados fiables, Optimizely utiliza unha serie de controis e correccións para manter as probabilidades de que isto ocorra o máis baixo posible. 

Eses controis e correccións teñen dúas implicacións cando configuras probas en Optimizely. En primeiro lugar, a métrica que designas como túa Métrica primaria alcanzará a significación estatística máis rápido, todas as outras cousas serán constantes. En segundo lugar, cantas máis métricas engades a un experimento, máis tardarán as métricas posteriores en acadar significación estatística.

Ao planificar un experimento, asegúrate de saber que métrica será o teu verdadeiro norte no proceso de toma de decisións, faino como a túa métrica primaria. Despois, mantén o resto da túa lista de métricas delgada eliminando todo o que sexa demasiado superfluo ou tanxencial.

Estratexia n.o 2: Constrúe os teus propios atributos personalizados

Optimizely é xenial ofrecéndolle varias formas interesantes e útiles de segmentar os resultados do experimento. Por exemplo, pode examinar se certos tratamentos teñen un mellor rendemento no escritorio ou no móbil ou se observan diferenzas entre as fontes de tráfico. Non obstante, a medida que madure o programa de experimentación, desexará rapidamente novos segmentos; estes poden ser específicos para o seu caso de uso, como segmentos para compras puntuais ou por subscrición, ou tan xerais como "visitantes novos contra visitantes recentes" (que, francamente, aínda non podemos descubrir por que iso non se proporciona fóra da caixa).

A boa nova é que a través do campo Project Javascript de Optimizely, os enxeñeiros familiarizados con Optimizely poden construír calquera número de atributos personalizados interesantes aos que os visitantes poden asignarse e segmentalos. En Cro Metrics, construímos unha serie de módulos de accións (como "visitantes novos e visitantes recentes") que instalamos para todos os nosos clientes a través do seu Project Javascript. Aproveitar esta capacidade é un diferencial clave entre os equipos maduros que dispoñen dos recursos técnicos adecuados para axudalos a executarse e os equipos que loitan por aproveitar todo o potencial da experimentación.

Estratexia n.o 3: Explore o Stats Accelerator de Optimizely

Unha das ferramentas de proba a miúdo superestimada é a posibilidade de usar "bandidos multi-armados", un tipo de algoritmo de aprendizaxe automática que cambia dinámicamente onde se asigna o tráfico ao longo dun experimento, para enviar o maior número de visitantes aos "gañadores". variación posible. O problema dos bandidos multi-armados é que os seus resultados non son indicadores fiables de rendemento a longo prazo, polo que o caso de uso deste tipo de experimentos limítase a casos sensibles ao tempo como promocións de vendas.

Non obstante, optimamente ten un tipo diferente de algoritmo de bandidos dispoñible para os usuarios en plans superiores: Stats Accelerator (agora coñecido como a opción "Accelerate Learnings" dentro de Bandits). Nesta configuración, en vez de tratar de asignar dinámicamente o tráfico á variación de maior rendemento, Optimizely asigna de forma dinámica o tráfico ás variacións máis propensas a alcanzar a significación estatística máis rápido. Deste xeito, podes aprender máis rápido e manter a replicabilidade dos resultados das probas A / B tradicionais.

Estratexia 4: engade emojis aos teus nomes métricos

A primeira vista, esta idea probablemente soe fóra de lugar, incluso inútil. Non obstante, un aspecto clave para asegurarse de que estás lendo os resultados correctos do experimento comeza en asegurarse de que o teu público poida entender a pregunta. 

Ás veces, a pesar dos nosos mellores esforzos, os nomes de métricas poden converterse en confusos (agarde: ¿se dispara esa métrica cando se acepta o pedido ou cando o usuario accede á páxina de agradecemento?) Ou un experimento ten tantas métricas que desprazan cara arriba e abaixo os resultados a páxina leva a unha sobrecarga cognitiva total.

Engadir emojis aos teus nomes de métricas (obxectivos, marcas de verificación verdes, incluso a gran bolsa de cartos podería funcionar) pode producir páxinas moito máis escaneables. 

Confíe en nós: ler resultados resultará moito máis sinxelo.

Estratexia n.o 5: Volva considerar o seu nivel de importancia estatística

Os resultados considéranse concluíntes no contexto dun experimento Optimizely cando os alcanzaron significación estatística. A importancia estatística é un termo matemático difícil, pero esencialmente é a probabilidade de que as túas observacións sexan o resultado dunha diferenza real entre dúas poboacións e non só dunha casualidade aleatoria. 

Os niveis de significación estatística reportados por Optimizely son "sempre válidos" grazas a un concepto matemático chamado probas secuenciais - Isto fainos moito máis fiables que os doutras ferramentas de proba, que son propensos a todo tipo de problemas de "espiar" se os les demasiado pronto.

Paga a pena considerar que nivel de importancia estatística considera importante para o seu programa de probas. Aínda que o 95% é o convenio na comunidade científica, estamos probando cambios no sitio web e non vacinas. Outra opción común no mundo experimental: o 90%. Pero estás disposto a aceptar un pouco máis de incerteza para realizar experimentos máis rápido e probar máis ideas? ¿Podería usar un 85% ou incluso un 80% de significación estatística? Ser intencionado sobre o seu saldo risco-recompensa pode pagar dividendos exponenciais ao longo do tempo, así que pénsalo ben.

Ler máis sobre Optimizely Intelligence Cloud

Estes cinco principios e ideas rápidas serán moi útiles para ter en conta ao usar Optimizely. Como ocorre con calquera ferramenta, resúmese en asegurarse de que ten unha boa comprensión de todas as personalizacións entre bastidores, de xeito que pode asegurarse de que está a usar a ferramenta de forma eficiente e eficaz. Con estas comprensións, podes obter os resultados fiables que buscas cando os necesites. 

¿Que pensas?

Este sitio usa Akismet para reducir o spam. Aprende a procesar os teus datos de comentarios.