AI & Usabilidade — Promessas e Perigos

Cuidados ao usar ChatGPT para avaliações heurísticas

Ilustração criada com Dall-E 3 + Photoshop — Odair Faleco

Recentemente me deparei com este artigo interessante do Jakob Nielsen no Substack e resolvi traduzir e trazer um TL/DR para os leitores do ColetivoUX. Também adicionei minha reflexão pessoal no final.

No artigo Nielsen compartilha alguns insights e dados sobre o uso do ChaGPT para avaliações heurísticas. Aqui vão os principais pontos do artigo caso você esteja na correria e não tenha tempo pra ler na íntegra.

O Baymard Institute fez o upload de diversas imagens (12 images de diferentes websites) no ChatGPT e fez a seguinte pergunta: “Quais melhorias de UX podem ser feitas nesta página?” Como você pode ver nas próximas linhas, os resultados não foram muito animadores… De qualquer forma os resultados são interessantes pois mostram o potencial e limitações atuais do uso desta tecnologia.

Aqui vai um resumão pra te economizar alguns minutos do seu valioso tempo:

1. Críticas de UX: O ChatGPT-4 oferece uma alternativa interessante para avaliações rápidas de UX, permitindo que os usuários enviem screenshots e solicitem sugestões de melhoria, porém, no estado atual da tecnologia a maioria dos resultados não foi satisfatório quando avaliados por um profissional senior.
2. Recomendações de Redesign do GPT: Apenas 19% das recomendações do ChatGPT-4 foram consideradas valiosas para o redesign de UX, com uma parte significativa (72%) vista como um “desperdício de tempo”.
3. Sugestões Ruins: Aproximadamente 9% das recomendações do GPT foram potencialmente prejudiciais, podendo deixar a usabilidade pior caso não seja revisada por um especialista.
4. Avaliação de um Especialista é Vital: O valor das recomendações do GPT-4 dependem da capacidade do profissional de distinguir sugestões boas das ruins — para isso experiência e conhecimento na área são indispensáveis.
5. Pontos Cegos: O ChatGPT-4 identificou apenas 24% dos problemas de usabilidade nas capturas de tela, deixando de fora 76% de outros problemas encontrados por um profissional. O GPT atualmente não consegue avaliar problemas relacionados às interações entre telas, vitais para uma boa experiência de uso.
6. UX em Evolução: A limitação do GPT em dados de treinamento mais antigos pode levar a recomendações desatualizadas, uma vez que algumas diretrizes de UX evoluem ao longo do tempo e das mudanças tecnológicas.
7. Cálculos de ROI: O estudo sugere que a IA pode economizar tempo na identificação de problemas de usabilidade, mas custa tempo adicional na rejeição de sugestões menos úteis, resultando no geral em um ROI negativo. (hoje, porém vale lembrar que essa tecnologia evolve muito rápido)
8. O Papel da IA em UX: Embora o ChatGPT-4 possa não ser ideal para identificar problemas de usabilidade, ele tem grande valor na geração de ideias e no auxílio às tarefas de pesquisa em UX, melhorando e impactando de forma positiva o fluxo de trabalho dos times de UX.

Conclusões & insights pessoais

O ChatGPT-4 mostra ser promissor, mas ainda tem diversas limitações, tornando-o mais adequado para gerar ideias e auxiliar na pesquisa de UX do que como a única ferramenta para descobrir problemas de usabilidade. O futuro da IA no processo de UX tem potencial de melhoria, e é crucial lembrar que a IA de hoje é o ponto de partida em uma jornada em direção a ferramentas mais capazes. (A AI que temos hoje é a pior que vamos ter). Combinar a IA com a experiência de um profissional humano continua sendo essencial e ideal para o sucesso no design e avaliação de UX.

AI deve ser seu co-piloto, não o seu Deus que traz sempre verdades universais.

Fique de boa, AI ainda não irá tomar o seu trabalho, mas um profissional que usa AI como co-piloto pode tomar daquele que não usa (melhoarias de produtividade e resultados)

AI é um caminho sem volta.
AI não é uma tendência ou modinha.
Tendências vem e vão.
AI está aqui para ficar.

🏄 Não lute contra a maré, adote, surfe.

Leitura Recomendada
https://www.uxtigers.com/post/ai-new-ui-paradigm

Fontes, em inglês:
https://jakobnielsenphd.substack.com/p/ai-ux-evaluation
https://baymard.com/blog/gpt-ux-audit

Gostou da leitura? Compartilhe (se quiser) 🖤