O sistema de classificação 5 estrelas foi o grande aliado do comércio on-line. Problema: nós o quebramos

É intuitivo, simples, visualmente atraente e fácil de entender em um piscar de olhos, mesmo entre idiomas e culturas, mas será que é eficaz? Não há dúvida de que os sistemas de classificação de cinco estrelas são práticos. Que eles ainda serão úteis em 2023, sim. Cada vez mais vozes estão questionando a validade de um método que consideram ser marcado por vieses significativos. Não se trata mais de uma questão de sinceridade das respostas ou de precisão, mas de algo muito mais complicado: polarização e uma "desvalorização" das estrelas que parece fazer das notas mais altas o padrão.

A pergunta é muito simples: aquele último restaurante que você foi jantar com seus amigos porque tinha uma classificação de cinco estrelas... será que ele realmente merecia essas cinco estrelas? E aquela oficina onde você levou seu carro pelo mesmo motivo?

Não. Essas não são suas impressões. As classificações de quatro e cinco estrelas estão na moda nos sistemas de classificação on-line. Em 2021, um grupo de pesquisadores publicou um estudo na Nature no qual reconheceram que "as avaliações são esmagadoramente positivas". De acordo com seus cálculos, pelo menos naquela época, a classificação média na Amazon.com era de 4,2 de 5 estrelas, que foi atribuída a mais da metade das avaliações.

O quadro era semelhante no Yelp, onde quase metade das avaliações também era de 5 estrelas, e os pesquisadores citam estudos que mostram que no Uber cerca de 90% das avaliações também atribuem a classificação mais alta.

"Uma representação visual da maioria das avaliações on-line revela uma distribuição em forma de "J", com muitas classificações de 4 e 5 estrelas, algumas classificações de 1 estrela e poucas classificações intermediárias", continua o estudo. Uma olhada nos dados do Tripadvisor transmite uma sensação semelhante. Em 2019, o último ano livre do efeito COVID, a pontuação média das acomodações espanholas em todas as regiões espanholas - a única exceção na Espanha foi a cidade autônoma de Melilla - ultrapassou quatro pontos.

Uma mudança na percepção do cliente. Em um sistema de 1 a 5 estrelas, a boa lógica sugere que um serviço ou produto com uma pontuação de 2,5 é mediano, mas... É assim que vemos as coisas quando os "A's" são quase o nosso ganha-pão? "O grau esmagador de positividade sugere que as pessoas muitas vezes se deparam com uma escolha entre vários itens com classificações de estrelas semelhantes, especialmente considerando que as pessoas nem sequer consideram opções que recebem menos de uma classificação de 3 estrelas", dizem os autores do estudo publicado em 2021 na Nature.

Eles não são os únicos a perceber o fenômeno. A Harvard Business Review também publicou um ensaio interessante sobre o assunto que deixa uma ideia em aberto: os sistemas 5 estrelas podem ser bons em eliminar os produtos, empresas e serviços de pior qualidade, mas têm muito mais dificuldade em separar o bom do excelente.

"Isso pode não ser um grande problema para os mercados que oferecem serviços básicos, mas pode ser um problema sério nos mercados em que é importante permitir que os fornecedores realmente excelentes se diferenciem claramente", afirmam os autores, que alertam que, da forma como são implementados, os sistemas de classificação podem incentivar a polarização: "Sem incentivos para fornecer feedback honesto, os usuários com experiências extremas - sejam elas muito ruins ou muito boas - têm muito mais probabilidade de deixar comentários do que os usuários com experiências médias, o que leva a vieses de seleção".

Observamos isso no início da postagem. Os sistemas de classificação por estrelas são intuitivos e fáceis de usar, mas sua eficácia depende basicamente de como as pessoas que os classificam respondem. Quando essa parte do sistema falha, ela gera uma espécie de "desvalorização" das estrelas que faz com que qualquer classificação abaixo de 4,5 ou até mesmo 5 seja vista com desconfiança, como aponta a Peak Performance Digital, alertando para certos riscos.

O primeiro é que há empresas que incentivam boas avaliações com descontos ou brindes em troca de avaliações; o segundo é que o sistema acaba penalizando as empresas menores. Afinal, se os clientes estão comentando basicamente para mostrar sua satisfação ou aborrecimento, em casos extremos, é mais fácil que uma avaliação devastadora diminua a classificação de uma pequena empresa. Quando você tem apenas alguns comentários, algumas avaliações negativas podem facilmente fazer com que uma cafeteria 5 estrelas seja rebaixada para 3,5.

A frase é de Mike Johnson, um usuário do Uber com quem o The Wall Street Journal conversou para uma reportagem que trata justamente dos sistemas de classificação on-line. Johnson reconhece que recebeu serviços incômodos, mas os classificou com a pontuação máxima para não prejudicá-los na plataforma. Ele não está sozinho.

As classificações também são altas entre os próprios usuários. Tanto que, de fato, Roxie Benesch, uma motorista da plataforma com uma classificação entre as 5 melhores, admite que às vezes se preocupa em pegar passageiros com uma classificação inferior a 4,8. "Um 4,79 é muito baixo. Eu me pergunto: 'Devo temer por minha vida?'", brinca ela.

Com o aumento do comércio on-line e o sucesso de plataformas como Uber, Cabify, Amazon e Airbnb em segundo plano, a "classificação" das estrelas não é uma questão menor. A Amazon afirma que calcula a classificação com modelos de aprendizado de máquina em vez de médias simples. Um caso interessante é o da Airbnb: a classificação média de suas residências nos EUA, excluindo o aluguel de quartos, foi de 4,74 estrelas no ano passado.

O Wall Street Journal também se aprofundou nessa classificação e conversou com usuários que admitiram deixar comentários positivos para não prejudicar o anfitrião ou receber uma classificação negativa como inquilino. Como exemplo, o jornal cita uma advogada que ficou presa no quarto de Atlanta que havia alugado pelo Airbnb, tendo que arrombar a porta e ficando por menos tempo do que o planejado. Apesar dessa experiência ruim, ela deu quatro estrelas. "Senti um pouco de pressão para não ser necessariamente honesta", confessa. O resultado: uma pergunta incômoda que continua a rondar... O que diferencia um 4,6 de um 4,8, por exemplo?