SUS na Prática: Como implementei para medir a usabilidade do meu produto

Como validar a experiência do usuário com um método simples e eficaz.

“Como medir a usabilidade do produto de maneira quantitativa?”

Essa é a pergunta que me fiz depois de ter saído de uma apresentação em um Product Day na empresa onde trabalho.

Trabalho como UX/UI em uma empresa que desenvolve soluções digitais, SAAS, para o mercado de construção civil. E me deparei com a iniciativa de conduzir uma pesquisa para medir de maneira quantitativa a usabilidade de um dos nossos produtos.

Foi assim que decidi fazer a implementação de um SUS (System Usability Scale). Criada em 1986 por John Brooke, o SUS é uma ferramenta rápida e eficaz para medir a usabilidade. Utilizando apenas 10 perguntas em escala Likert, ela oferece uma visão geral da experiência do usuário ajudando equipes de UX a identificar e solucionar problemas em um produto ou serviço digital. Saiba mais sobre SUS aqui!

A partir de agora, vou compartilhar todo o processo de implementação do SUS, destacando os desafios, aprendizados e sucessos dessa pesquisa.

Importante: Todos os dados apresentados são fictícios para preservar a confidencialidade da empresa onde trabalho.

­

1. Criação do formulário

Meu primeiro passo na implementação do SUS foi a escolha da plataforma onde o formulário seria hospedado e a criação do mesmo. Nesse formulário iria conter as 10 perguntas do SUS.

­

As 10 perguntas do SUS:

1. Eu acho que gostaria de usar esse sistema com frequência.
2. Eu acho o sistema desnecessariamente complexo.
3. Eu achei o sistema fácil de usar.
4. Eu acho que precisaria de ajuda de uma pessoa com conhecimentos técnicos para usar o sistema.
5. Eu acho que as várias funções do sistema estão muito bem integradas.
6. Eu acho que o sistema apresenta muita inconsistência.
7. Eu imagino que as pessoas aprenderão como usar esse sistema rapidamente.
8. Eu achei o sistema atrapalhado de usar.
9. Eu me senti confiante ao usar o sistema.
10. Eu precisei aprender várias coisas novas antes de conseguir usar o sistema.

Importante: essas perguntas não podem ser trocadas de ordem. A inversão dos itens causa mais mal do que bem: o SUS, como muitos questionários, alterna o tom de cada item. Os itens ímpares são formulados positivamente (por exemplo, acho que gostaria de usar o sistema com frequência) e os itens pares são frases negativas (por exemplo, achei o sistema desnecessariamente complexo). Foi criado dessa forma para impedir alguns vieses durante a coleta das respostas.

Ainda continuando na criação do formulário as respostas dessas perguntas devem ser em escola Likert de 1 a 5. Com base nessas respostas, é calculada a pontuação final do SUS, que ajuda a determinar se um produto está no caminho certo ou precisa de ajustes.

­

2. Chegando no usuário

Com o formulário concluído, o próximo passo foi identificar quais usuários do nosso produto receberiam a pesquisa. Em uma reunião com o meu gerente de produto, criamos uma lista de clientes que usam nosso produto diariamente e que recentemente utilizaram um novo módulo que desenvolvemos. A partir daí, planejei a estratégia para entregar o formulário a esses usuários.

Estabelecemos um prazo de 25 dias para as respostas. Na primeira semana, exibimos um pop-over no produto, convidando os usuários a participar da pesquisa.

Após as primeiras semanas, implementamos uma estratégia de e-mail marketing em duas etapas. No início, enviamos um e-mail personalizado com tom de exclusividade, buscando estabelecer uma conexão mais forte com os usuários e motivá-los a responder ao formulário. Já na última semana da pesquisa, enviamos um segundo e-mail com uma abordagem de escassez, lembrando aos clientes que o prazo para colaborar com as melhorias no sistema, que utilizam diariamente, estava se aproximando do fim.

­

3. Resultados

Os resultados coletados dessa pesquisa foram em sua grande maioria vindos através dos e-mails marketing, conseguimos algumas dezenas de respostas e alguns e-mails coletados, esses e-mails no futuro iram ser utilizados para uma pesquisa qualitativa.

­

E como calcular essa pontuação do SUS?

Depois de colher os resultados, você precisa fazer algumas contas para chegar até a pontuação final.

• Para as perguntas ímpares (1, 3, 5, 7, 9), subtraia 1 ponto da pontuação que o usuário respondeu.
• Para as perguntas pares (2, 4, 6, 8, 10), subtraia 5 da resposta dada. Ou seja, se o usuário respondeu 2, contabilize 3. Se o usuário respondeu 4, contabilize 1.
• Agora some todos os valores das dez perguntas e multiplique por 2.5.

Seguindo esse calculo você terá uma pontuação SUS que vai de 0 a 100. A pontuação média do SUS é 68, e a pontuação acima ou abaixo da média fornecerá uma visão de como está a usabilidade geral do seu produto.

­

4. Insights e próximos passos

O resultado da pesquisa sobre a usabilidade do nosso produto foi considerado ‘neutra’. Para melhorar essa pontuação, é importante analisar os dados de forma mais aprofundada. Embora possa ser desafiador extrair insights de uma pesquisa quantitativa, é interessante observar que as perguntas do SUS estão alinhadas com algumas das heurísticas de Nielsen.

As perguntas se distribuem da seguinte maneira:

• Facilidade de aprendizagem: 3, 4, 7 e 10
• Eficiência: 5, 6 e 8
• Facilidade de memorização: 2
• Minimização dos erros: 6
• Satisfação: 1, 4, 9

Ao calcular as respostas, notei que as menores notas estavam em ‘facilidade de memorização’ e ‘minimização dos erros’, o que facilita a identificação de áreas para melhoria.

O próximo passo será utilizar os e-mails dos usuários que responderam ao formulário e forneceram seus contatos para um contato posterior. Esses contatos serão valiosos para realizar uma pesquisa qualitativa futura, através de entrevistas qualitativas.

Realizar essa pesquisa com o SUS foi uma experiência divertida e enriquecedora. Além de fornecer um indicador quantitativo da usabilidade do meu produto, com isso vendo se estamos indo pelo caminho certo, aprendemos a engajar usuários e a estruturar uma pesquisa eficiente. Um dos principais desafios foi garantir uma taxa de resposta significativa, o que exigiu uma estratégia de comunicação bem planejada, combinando pop-overs e e-mails marketing.

Os resultados evidenciaram que precisamos melhorar a facilidade de memorização e minimização dos erros. Agora, com os contatos coletados, podemos aprofundar essas questões por meio de entrevistas e testes mais detalhados. Isso garantirá que as melhorias sejam relevantes para os usuários.

Essa abordagem combinada de pesquisa quantitativa e qualitativa será crucial para entender melhor as necessidades dos usuários e direcionar nossas melhorias de forma eficaz.

Referência

What Every UXC Client Should Know About SUS Scores

SUS na Prática: Como implementei para medir a usabilidade do meu produto was originally published in UX Collective