Guia para rodar um experimento

Criei esse template de experimento para auxiliar o processo de estruturação de um experimento e garantir que todos os pontos para sua execução estejam cobertos. Nele, existem diferentes etapas e para cada uma delas, uma série de perguntas a serem respondidas para que o preenchimento dos quadrantes possa ser feito.

As perguntas podem ajudar na definição de cada tópico e na redução dos vieses inconscientes.

Vieses inconscientes são pressupostos, crenças ou atitudes aprendidos dos quais não estamos necessariamente cientes. Embora o viés seja um aspecto natural do funcionamento do cérebro humano, ele pode às vezes reforçar estereótipos. (Fonte: Asana)

Durante o planejamento de um experimento é importante manter o foco no que deve ser validado e nos aprendizados esperados. Evite se apegar a solução ou a resultados esperados no seu imaginário.

Dado contexto do template, estão preparadas? Então vamos lá!

O template de experimento possui 9 quadrantes ou etapas.

Elaborado pela autora

1- Análise de Dados

Nessa etapa, reuna os dados disponíveis sobre o produto, as pessoas usuárias e os atores do ecossistema. Procure pesquisas qualitativas e quantitativas, busque entender testes realizados no passado. Identifique as informações que podem ser relevante para o seu contexto e procure entender mais sobre os indicadores do negócio e como está o momento atual da empresa. No meu caso, o produto era algo novo e o teste também. Apesar de nunca ter sido realizado algo igual, haviam funcionalidades semelhantes que tinham sido testadas. As informações foram úteis para gerar insights e serviram como base para a próxima etapa: Definição do problema.

Checklist:

• Os dados de experimentos passados fazem sentido para esse experimento atual?
• Existem dados qualitativos que podem ser analisados?
• Existem dados quantitativos que podem ser analisados?
• Existem perguntas que podem ser respondidas sem precisar do desenvolvimento do experimento? Avalie se realmente é necessário realizar um experimento.

2- Definição do Problema

Normalmente, experimentos iniciam por essa etapa, pois o problema já está evidente. No meu caso, essa etapa foi importante para tangibilizar e alinhar com as pessoas envolvidas o problema que havíamos entendido que deveria ser prioritário. Alguns exemplos de problemas que podem ser identificados nessa etapa são:

• Problema na performance do produto
• Problemas de usabilidade
• Quebra de conversão ou fricção em um fluxo de produto
• Reclamações de usuário em relação a determinada funcionalidade

Checklist:

• Esses problemas são baseados em dados qualitativos ou quantitativos?
• Os problemas identificados estão explícitos para o time?

3- Hipóteses

Nesta seção, são criadas as hipóteses que se espera validar com o experimento. Hipóteses são frases que resumem o objetivo do seu teste. A hipótese é importante para ter uma noção de resultados esperados do teste e auxilia a entender melhor seu foco e sua visão.

Para criar as hipóteses você pode utilizar alguns frameworks, como:

a) Framework 4 passos (Meclabs Institute)

Se [resumo descritivo]

Ao [Remover/Adicionar/Mudar]

Então [Melhoraremos a performance]

Porque [Insight do consumidor]

b) Framework (Invision)

Acreditamos que [Criando essa experiência]

Para [Persona]

Atingiremos [Resultado]

Checklist:

• A hipótese se baseia em observações, ideias ou dados?
• O experimento se concentra em uma ação que pode ser testada?
• O experimento tem variáveis mensuráveis e pode se revelar falso?
• O que as pessoas esperam aprender com o experimento?

4- Experimento

Todo produto, serviço ou conteúdo será consumido por alguém. Para conseguir criar um experimento, é importante conhecer o seu público-alvo e qual o jornada de consumo dessa pessoa. Sendo assim, uma vez feita a análise de dados, definição do problema e hipóteses, é chegado o momento de pensar nas ofertas que podem gerar mais valor para esse grupo de usuários e como será realizada essa validação.

Exemplos de experimento:

• Validação de um protótipo
• Melhoria em um fluxo de produto existente
• Mudanças de um fluxo, tela, botão

Checklist:

• Qual o tipo de teste será realizado? Teste A/B, Teste multivariado, teste de com protótipo navegável e etc.

5- Amostra

Defina o perfil das pessoas que você deseja que participem desse experimento e entenda qual o tamanho necessário da amostra para que você tenha relevância estatística e confiabilidade nos dados.

Exemplo de população e amostra:

• População: Pessoas que já compraram ao menos 1 vez no último mês e possuem a conta ativa por no mínimo 6 meses.
• Amostra: Deve ser uma parte dessa população na qual seja possível ter um nível de confiança e margem de erro factíveis. Para realizar esse cálculo existem calculadoras online como essa aqui. Para o cálculo da amostra ideal são considerados: tamanho da população, nível de confiança e a margem de erro.

Na tabela abaixo, é possível entender os impactos na precisão do experimento quando esses valores aumentam ou diminuem.

Fonte: Survey Monkey

Se você quiser uma margem de erro menor, use um tamanho de amostra maior com a mesma população. Quanto maior o nível de confiança de amostragem desejado, maior será o tamanho da amostra.

Checklist:

• As características de grupo controle correspondem às do grupo teste?
• Quais segmentos de usuários serão incluídos no teste?
• Que tamanho de amostra é necessário para medir o impacto esperado
• Algum viés restante foi eliminado com a utilização de análises estatísticas ou outras técnicas?

6- Período

A quantidade de tempo que você gasta na execução de um experimento para gerar evidências suficientes.

Checklist:

• Quanto tempo será necessário para validar o experimento?
• Esse período está alinhado com expectativas das pessoas envolvidas, times impactados e/ou stakeholders?

7- Métricas

Defina qual métrica você usará para avaliar se sua hipótese é verdadeira, falsa ou nula.

Exemplos de métricas:

• Cliques em um botão
• Conversão em um fluxo de compra

Checklist:

• Foram incluídas todas as variáveis que poderiam afetar nossas métricas?
• As métricas primárias irão ajudar na tomada de decisão?
• Foram identificadas métricas secundárias que podem ser afetadas com o experimento?

8- Critérios de Sucesso

É a meta quantificável que mostra que o experimento foi bem-sucedido. A definição de um critério de falha pode ajudar em uma tomada de decisão realista.

Checklist:

• O que é considerado sucesso do experimento?
• O que se entende como falha para esse experimento?
• Quais os resultados esperados para cada cenário? Confirmação, falha e hipótese nula?

9- Ações pós experimento

Descreva que ações serão tomadas após a coleta de dados do experimento. Teresa Torres, em seu template de experimentos, cita alguns tipos de suposições e tratativas de acordo com o resultado das hipóteses.

a) Se a hipótese for confirmada

Se uma hipótese for confirmada, essa suposição será solucionada e potencialmente serão geradas outras hipóteses para serem validadas.

b) Se a hipótese falhar
- Suposição de design: Neste caso, será necessário avaliar outros recursos de design antes de desistir do recurso ou da proposta de valor. Caso sejam testados diversos designs e nenhum deles estiver passando, então será importante rever as características.
- Suposição de funcionalidade: Se várias funcionalidades foram testadas e nenhuma delas está passando, então provavelmente seja útil considerar outras propostas de valor.
- Suposição de proposta de valor: Neste caso, é preciso considerar uma nova proposta de valor.
- Suposição de viabilidade: Reconsiderar as funcionalidades ou designs propostos para chegar a uma nova solução.

c) Inconclusiva

Caso você esteja experimentando algo e não note diferença comparando o grupo controle vs grupo tratamento, isso significa que sua nova proposta (de design, funcionalidade ou proposta de valor) tem os mesmos impactos do antigo. Nestes casos, ainda que a validação seja inconclusiva, talvez faça sentido continuar com a nova proposta em detrimento de desempenho técnico ou outra razão que seja relevante para o negócio.

Checklist:

• Estão sendo utilizadas evidências experimentais para aumentar a transparência do processo decisório?
• Quais as mudanças específicas podem ser feitas com base nos resultados?

Documentação: Lembre-se de documentar o plano e resultados do experimento. À medida que a equipe ou a área começarem a realizar experimentos em grande volume, será importante ter visibilidade do histórico dos testes, a forma como foram conduzidos e os resultados gerados. Isso evitará re-trabalho ou repetição de testes para os quais já se tem resultados acumulados.

Fonte: Giphy

Referências:

• Imagem de capa por David Travis em Unsplash
• Livro: A cultura da experimentação: Como os experimentos nos negócios podem melhorar sua capacidade de inovação. Autor: Stefan H. Thomke.
• Experiment Design Template. Autora: Teresa Torres.
• Resultados Digitais: Teste AB
• Asana — 19 exemplos de vieses
• Frameworks de hipóteses. Framework 1 e Framework 2