Ser pesquisadora tem me ensinado bastante como aprimorar as metodologias e pensar maneiras criativas de encontrar soluções. A cada novo dia, um novo aprendizado. E com a realização de surveys não é diferente.

Seja para pesquisa de mercado, captar a compreensão do cliente de uma feature ou mapear e entender comportamentos que levem a novas oportunidades de negócio, o uso de surveys quantitativas (questionários) é uma metodologia adorada por muitos. De acordo com o State of User Research 2023, 62% dos profissionais da área de UX Research usaram a metodologia de Survey nos últimos 6 meses em suas empresas.

O objetivo desse texto é trazer algumas dicas que eu gostaria de ter tido quando iniciei minha jornada de pesquisa, mas não pretendo de modo algum exaurir a discussão. Para uma boa survey, além de entender o método, é necessário também que a pessoa responsável pela pesquisa tenha um research planning bem estruturado e que esteja claro qual o tipo de decisão a pesquisa conduzida irá auxiliar.

Vou iniciar falando um pouco de dicas para diminuir o tamanho da survey, e depois sigo abordando outras questões até chegar em alguns tipos de perguntas que podem auxiliar no envio da usa survey.

Então, bora lá?

Não existe bala de prata.

Dica #1: Evite questionários longos com mais de 10 minutos.

Para alguns essa dica pode parecer óbvia, mas para quem está iniciando ou já trabalhou com pesquisa estratégica ou mapeamento de perfis, pode ser que já tenha se deparado com o desafio de tornar uma survey mais sucinta. Isso acontece principalmente quando questionadas por algum stakeholder sobre a possibilidade de acrescentar ou não tal ou tal pergunta, e no final pode acontecer de surgir um grande frankenstein tentando ‘aproveitar’ o envio da survey para dar conta de vários temas.

Essa dica também é ótima para quem tem uma base pequena para envio ou quem precisa de uma taxa alta de respondentes e consequentemente uma menor margem de erro. Principalmente em surveys onde o objetivo é segmentar perfis ou surveys iniciais para ‘conhecer’ o cliente, é muito comum que nós pesquisadoras (e eu me incluo porque já cometi esse equívoco) busquemos aprofundar em todas as áreas temáticas que precisamos entender em uma só survey.

Para evitar que a survey se torne muito longa, podemos a) realizar uma etapa quali; b)ter certeza de que o research planning está bem estruturado; e também fazer um c) disparo segmentado por blocos da survey.

a) Etapa quali>>

Para evitar longos questionários, realizar uma etapa quali anteriormente (como algumas entrevistas de profundidade) pode ajudar a mensurar e mapear alguns comportamentos já existentes entre os clientes e auxiliar melhor na hora de elaborar o questionário.

Algumas empresas podem querer pular a parte quali (ou fazer apenas 3 entrevistas e seguir em frente), mas acredito que uma etapa de research quali bem realizada pode auxiliar muito na lapidação de um questionário sucinto e assertivo; principalmente quando o objetivo é mapear e conhecer os clientes de forma macro.

b) Research planning bem estruturado>>

Já comentei sobre isso na introdução, mas nunca é demais: não se esqueça de alinhar e revisitar o research planning, de modo que fique claro qual o objetivo desta etapa metodológica de pesquisa. Quando houver alguma dúvida sobre o caminho que está levando, lembre-se de se perguntar: as evidências quanti coletadas serão úteis para quê? O quê queremos responder com a survey? Ao tirar um tempo de qualidade para estruturar o research planning você vai perceber o quão mais fácil fica executar as etapas de pesquisa.

c) Segmentação de disparo por blocos da survey>>

Outra dica que pode ajudar a não enviar uma longa survey para todos os respondentes de um disparo é segmentar o disparo e os respondentes por blocos de temas randomizados ou não. Particularmente eu não sou muito fã dessa técnica, mas dependendo do objetivo da sua survey e da quantidade da sua base, pode ser que ao selecionar alguns clientes para responderem blocos específicos e deixar outros blocos para outro grupo de clientes faça sentido para o objetivo da sua pesquisa.

Outro problema com surveys longas é que a qualidade da evidência tende a ser pior, uma vez que quem responde ao questionário pode estar cansado, ou ser interrompido no meio do caminho e acabar não retornando ao questionário.

Dica #2: Nas perguntas, trabalhe mais com o passado do que com o futuro

Quem é que não adoraria prever o futuro e como os usuários/clientes iriam se comportar em uma determinada situação? Pois é. Seria um mar de rosas, mas não é o que acontece normalmente.

Ao invés de perguntar para o usuário o que ele ou ela fariam em determinada situação, a evidência coletada tende a ser mais assertiva sobre o comportamento quando reestruturamos a pergunta e investigamos de fato o que ele ou ela fizeram em determinado cenário. Desse modo, deixa-se de trabalhar com hipóteses de comportamentos abstratos e quem está pesquisando consegue de fato captar o comportamento concreto daquela determinada situação. Essa dica também vale na hora de elaborar um bom roteiro de entrevista de profundidade*

Dica #3: Calcule sua amostra de modo que ela seja representativa

Não se esqueça de ter uma amostra representativa de respostas ao final da survey. Isso vai ajudar a dar maior assertividade e a apoiar os insights e recomendações que você tirar da survey. Para isso, existem várias calculadoras que nos ajudam a prever a quantidade de respostas que precisamos ter (ou seja, cáculo da amostra) para poder dizer que as evidências de comportamento ou opiniões coletadas são representativas da base geral daqueles usuários.

Uma calculadora que eu gosto de usar é a da SurveyMonkey. Lembre-se de se atentar à margem de erro e ao nível de confiança que pretende alcançar com a pesquisa e deixar claro para os envolvidos do time sobre esses.

‘Amostra representativa’ significa a quantidade necessária para analisar os dados e poder inferir que são da população geral daqueles usuários. Por exemplo: imagine que 50.000 usuários compraram o produto X e você quer fazer uma pesquisa para analisar o comportamento desses clientes. Para ter uma margem de erro de 5% e um nível de confiança de 95% nas respostas, você precisará de 382 respostas. Ou seja, nesse caso se você pegar apenas 100 respostas da survey e iniciar a sua análise, por exemplo, não será possível dizer que essas análises representam o comportamento da base geral, o que muitas vezes pode invalidar sua pesquisa.

Dica #4: Antes de fazer o disparo da sua survey, entenda a sua base de disparo

Eu já fiz um texto aqui falando da importância de pesquisa com base de dados para UX Research. A hora de elaborar uma base para disparo de survey também é um momento em que o conhecimento sobre a base interna de dados pode te auxiliar bastante em obter uma evidência ainda mais assertiva e de qualidade ao final.

Ao entender a representatividade da própria base interna, você pode desenhar (ou pedir para que alguém de ciência dos dados monte para você) uma base de disparo também representativa da base. Desse modo é possível segmentar representativamente por dados sociodemográficos da base, e até mesmo através de outras variáveis que talvez façam sentido para a sua pesquisa (por exemplo representatividade de clientes que adquiriram tal produto nos últimos 3 meses, etc). Principalmente quando a base geral de clientes é muito grande, segmentar o disparo de modo representativo pode ser a chave para uma survey de qualidade.

Dica #5: Evite perguntas abertas

O que você vai fazer com a survey após o envio? Qual o tamanho do seu time na hora de analisar as respostas? Pois é. Respostas, dados, análises. Quando colocamos uma pergunta aberta na survey o tempo necessário para tabular aquela resposta de modo a transformá-la em evidência comparativa é muito grande. Por isso evite o uso de perguntas abertas. Além do tempo para tabular essas respostas, a probabilidade de drop out (desistência) de respondentes do questionário aumenta.

Como alternativa, use perguntas fechadas e coloque a opção “Outro” como aberta. Caso você faça alguma pergunta aberta por algum motivo, veja se é possível colocar aquela opção de pergunta como ‘não obrigatória’ (desse modo a pessoa respondente pode escolher pular essa pergunta).

A realização de uma etapa quali previamente à survey também auxilia na hora de pensar quais opções de resposta você pode colocar em uma pergunta fechada.

Dica #6: Quando possível, realize entrevistas cognitivas antes do disparo

Entrevista cognitiva é um método usado para garantir que a interpretação dos usuários finais sobre a survey está alinhada com aquilo que você elaborou. É muito utilizada para alinhar a linguagem utilizada e lapidar mais ainda as opções de resposta e entendimento do texto de enunciado. Caso tenha alguma pergunta ou expressão muito importante para a execução da pesquisa, você também pode usar essa metodologia e coletar insights direcionados sobre algo que não esteja claro para você e seu time.

Para realizar uma entrevista cognitiva, as orientações são similares ao de um teste de usabilidade, ou de um psicanalista, como eu costumo brincar: você não explica para o usuário o que é cada coisa, mas pede que ele ou ela te digam o que eles entendem por cada pergunta, ou se acrescentariam alguma opção, e do porquê.

Essas foram apenas algumas dicas, baseadas nos meus aprendizados e experiências de pesquisa. Espero que te ajude nas próximas surveys que for elaborar ou que o seu time for enviar :)

E você? Tem alguma dica sobre pontos de atenção na hora de usar uma survey?