Recentemente vimos quais serão as tendências das redes sociais para 2019. Agora entenderemos como a Netflix realiza os testes A/B.
Consegue imaginar uma empresa como a Netflix, com milhões de membros utilizando o serviço, atualizando a plataforma sem aplicar testes A/B? Muito provavelmente, ocorreria um “desastre”.
Por melhor que seja o desempenho da equipe de desenvolvimento, o usuário pode ser imprevisível. Ele não é especialista no produto, não foi treinado e assume comportamentos inesperados. Você já viu isso acontecer, certo?
Em uma proporção menor, é óbvio que fica mais fácil de resolver. Contudo, ainda que você provavelmente não opere com milhões de usuários, deve ter o objetivo de escalar o seu negócio.
Além disso, com testes bem aplicados, você vai poupar tempo, desgaste com o cliente e gastos desnecessários — mesmo enquanto não alcança os números da Netflix.
Continue a leitura, entenda a forma como operam e aproveite-a no seu negócio.
Sumário
Como a Netflix Opera com Testes A/B?
Cada mudança de produto que a empresa considera aplicar passa por testes A/B. Seja a reformulação complexa do algoritmo, seja uma simples mudança de layout de uma imagem, tudo é testado de acordo com a metodologia por uma equipe de engenheiros.
Os testes permitem comprovar que a experiência do usuário melhorou com a mudança, que ele passou a encontrar o que desejava mais rapidamente, que um título começou a ser mais visualizado com uma nova imagem e assim por diante.
Essa política garante que as mudanças não ocorram por achismos da equipe. Além disso, ajuda a criar uma cultura de valorização da experiência e da voz do cliente dentro da empresa.
Na atualidade, o grande desafio das companhias é envolver o cliente no desenvolvimento. Assim, de uma forma indireta, ele passa a fazer parte do processo decisório.
Como é a Metodologia de Testes?
A ideia central é criar um grupo de controle e um ou mais grupos que, na Netflix, chamam-se células. Uma delas é designada como “célula padrão” e recebe a mesma experiência que está rodando na versão atual.
Assim que o teste começa, é acompanhado com métricas — como horas de streaming e retenção. Assim que conseguem um número suficiente de participantes, é possível comparar o resultado de cada célula com a padrão, o que permite identificar qual delas oferece a melhor experiência. Em paralelo, problemas em potencial são identificados.
Além disso, os membros são alocados de duas maneiras diferentes: em lote e em tempo real. No primeiro caso, um conjunto fixo de membros passa pelo teste e, no segundo, os membros são selecionados de acordo com a necessidade de informação.
Por exemplo, digamos que estejam testando um novo recurso para tablets. Nesse caso, os membros serão adicionados às células de acordo com o aparelho que estão usando ou outros critérios especificados para atingir os objetivos do teste.
Como São os Testes de Experimento?
Qualquer usuário da Netflix percebe que o conteúdo da página inicial muda a cada novo login. Essas mudanças ocorrem de forma a facilitar que ele encontre rapidamente o que deseja assistir e tem base no comportamento identificado.
Além das preferências de cada usuário, o tipo de filme que assiste e os que seleciona como preferidos, a empresa cria experiências considerando os mais diversos detalhes. O objetivo é estimular que os membros assistam o conteúdo disponibilizado.
Nos testes, são oferecidos diferentes conteúdos para diferentes grupos. Assim, é possível identificar as reações e selecionar o que funciona melhor para captar a atenção do usuário mais rapidamente — o que é fundamental para a retenção.
Na lógica da Netflix, existem dois motivos principais para não conseguir o melhor resultado. O primeiro é, evidentemente, não disponibilizar o conteúdo certo para cada perfil de usuário. Já o segundo é não fornecer as evidências que o usuário precisa para decidir por um conteúdo.
Obviamente, após inúmeros testes realizados, a empresa identificou padrões gerais que ajudam nesses objetivos. Contudo, os testes continuam a contribuir na verificação e com a utilização de um sistema criado para agrupar, por exemplo, diferentes formatos de artes.
Uma mesma imagem de fundo pode ser disponibilizada com diferentes retoques, proporções e localização de títulos, permitindo identificar a que consegue melhor desempenho. Alguns casos são esclarecedores. Por exemplo:
Os testes com a série “Sense8” — que conta com um elenco multicultural — mostraram que os resultados eram diferentes dependendo do país que as imagens eram apresentadas.
Já no caso do “Dragons: Race to the Edge”, percebeu-se que, quando apresentavam imagens com vilões, a aceitação era melhor.
Nos testes de imagens para a segunda temporada de “Unbreakable Kimmy Schmidt”, o melhor desempenho foi para as que apresentavam os personagens fazendo careta. Aliás, para o título “Orange Is The New Black”, a quantidade de personagens é que fez a diferença.
A primeira temporada foi promovida com todo o elenco na imagem de divulgação. Isso parecia fazer sentido no contexto da história, mas, quando aplicaram testes, notaram que os usuários entendiam melhor do que se tratava o filme com menos personagens.
Como São os Testes de Hipótese?
Um caso interessante relatado pela Netflix partiu da suspeita da equipe de design. Seus integrantes acreditavam que os visitantes tenderiam a contratar mais facilmente o serviço se pudessem navegar no catálogo de filmes. Essa hipótese era apoiada por alguns estudos e precisava ser testada.
Na oportunidade, foram disponibilizadas duas páginas diferentes para potencias clientes. Numa delas, era possível acessar o catálogo e na outra não. Para surpresa da equipe, a conversão foi mais alta na versão sem acesso ao catálogo.
É interessante notar que os estudos incluíam pesquisas nas quais os clientes diziam preferir a página com acesso prévio. Isso prova a importância dos testes e o fato de que nem tudo o que o cliente diz é o que ele faz.
Além disso, essas informações podem ser cruzadas e gerar novos testes. Uma pergunta que poderia ser feita nesse caso é: será que o catálogo poderia ser mais atrativo? Algo que viram ou observaram pode ter desestimulado a assinatura?
Para concluir, vale mencionar que a aplicação dos testes A/B não é útil apenas por permitir levantar métricas efetivas sobre a experiência do usuário, mas a prática constante ajuda o time a aprender sobre essa vivência do cliente, como ele pensa e age. Na atualidade, é consenso o fato de que esse conhecimento é essencial para a competitividade do negócio.
Fonte: Marketing Por Dados
Marketing Digital em Itajaí / SC
Para criar uma estratégia completa de marketing digital para sua empresa em Itajaí / SC, contrate a Suprema Propaganda, a melhor agência de publicidade e propaganda da região.
A Suprema Propaganda trabalha com processo otimizado que permite ofertar serviços com os melhores preços do mercado e ótimas condições de parcelamento e pagamento.
Gostou dos nossos serviços? Então solicite já um orçamento sem compromisso clicando no botão abaixo:
Trackbacks/Pingbacks