A "classificação média" da Amazon é enganosa?

Se bem entendi, as classificações de livros em uma escala de 1 a 5 são pontuações do Likert. Ou seja, um 3 para mim pode não ser necessariamente um 3 para outra pessoa. É uma IMO em escala ordinal. Não se deve realmente medir escalas ordinais, mas definitivamente pode-se usar o modo, mediana e percentis.

Então, não há problema em desobedecer as regras, já que grande parte da população entende meios além das estatísticas acima? Embora a comunidade de pesquisa repreenda fortemente a média dos dados da escala Likert, é bom fazer isso com as massas (na prática)? Tomar a média neste caso é mesmo enganoso para começar?

Parece improvável que uma empresa como a Amazon se atrapalhe com as estatísticas básicas, mas se não, então o que estou perdendo aqui? Podemos afirmar que a escala ordinal é uma aproximação conveniente ao ordinal para justificar a média? Por que motivos?

Benefícios do uso da média para resumir a tendência central de uma classificação de 5 pontos

Como o @gung mencionou, acho que muitas vezes existem boas razões para considerar a média de um item de cinco pontos como um índice de tendência central. Eu já descrevi esses motivos aqui .

Parafrasear:

1. a média é fácil de calcular
2. A média é intuitiva e bem compreendida
3. A média é um número único
4. Outros índices geralmente geram classificação de objetos semelhante

Por que a média é boa para a Amazon

Pense nos objetivos da Amazon em relatar a média. Eles podem ter como objetivo

• fornecer uma classificação intuitiva e compreensível para um item
• garantir a aceitação pelo usuário do sistema de classificação
• garantir que as pessoas entendam o que a classificação significa para que possam usá-la adequadamente para informar as decisões de compra

A Amazon fornece algum tipo de média arredondada, a contagem de frequências para cada opção de classificação e o tamanho da amostra (ou seja, número de classificações). Presumivelmente, essas informações são suficientes para que a maioria das pessoas aprecie o sentimento geral sobre o item e a confiança nessa classificação (ou seja, é mais provável que um 4.5 com 20 classificações seja preciso do que um 4.5 com 2 classificações; um item com 10 5 classificações de uma estrela e uma classificação de uma estrela sem comentários ainda podem ser um bom item).

Você pode até ver o meio como uma opção democrática. Muitas eleições são decididas com base em qual candidato obtém a maior média em uma escala de dois pontos. Da mesma forma, se você argumentar que cada pessoa que envia uma revisão obtém uma votação, pode ver a média como um formulário que avalia o voto de cada pessoa igualmente.

As diferenças no uso da escala são realmente um problema?

Há uma grande variedade de vieses de classificação conhecidos na literatura psicológica (para uma revisão, ver Saal et al 1980), como viés de tendência central, viés de leniência, viés de rigidez. Além disso, alguns avaliadores serão mais arbitrários e outros serão mais confiáveis. Alguns podem até mentir sistematicamente, dando avaliações positivas ou negativas falsas. Isso criará várias formas de erro ao tentar calcular a classificação média verdadeira para um item.

No entanto, se você coletar uma amostra aleatória da população, esses vieses serão cancelados e, com uma amostra suficiente de avaliadores, você ainda obterá a verdadeira média.

Obviamente, você não obtém uma amostra aleatória na Amazon e existe o risco de que o conjunto específico de avaliadores que você obtém para um item seja sistematicamente tendencioso para ser mais branda ou rigoroso e assim por diante. Dito isso, acho que os usuários da Amazon apreciariam que as classificações enviadas pelos usuários venham de uma amostra imperfeita. Também acho que é bem provável que, com um tamanho de amostra razoável, em muitos casos, a maioria das diferenças de viés de resposta comecem a desaparecer.

Possíveis avanços além da média

Em termos de melhorar a precisão da classificação, eu não questionaria o conceito geral de média, mas acho que existem outras maneiras de estimar a classificação média da população real para um item (ou seja, a classificação média que seria obtida uma amostra representativa grande solicitada a classificar o item).

• Avaliadores de peso com base em sua confiabilidade
• Use um sistema de classificação bayesiano que estima a classificação média como uma soma ponderada da classificação média para todos os itens e a média do item específico e aumente a ponderação para o item específico à medida que o número de classificações aumenta
• Ajuste as informações de um avaliador com base em qualquer tendência geral de classificação entre itens (por exemplo, um 5 de alguém que normalmente dá 3s valeria mais do que alguém que normalmente dá 4s).

Portanto, se a precisão na classificação era o objetivo principal da Amazon, acho que deveria tentar aumentar o número de classificações por item e adotar algumas das estratégias acima. Tais abordagens podem ser particularmente relevantes ao criar as melhores classificações. No entanto, para a humilde classificação na página, pode ser que a média da amostra atenda melhor aos objetivos de simplicidade e transparência.

Referências

• Saal, FE, Downey, RG e Lahey, MA (1980). Classificando as classificações: Avaliando a qualidade psicométrica dos dados de classificação. Psychological Bulletin, 88, 413.

Para ser um pouco técnico aqui, essas classificações não são na verdade uma escala Likert ; são apenas classificações ordinais. Agora, tendo dito isso, seu argumento está essencialmente correto. No entanto, muitas vezes penso que muito é feito sobre esse problema. Uma coisa a notar é que geralmente se entende que a média de um número de itens ordinais pode ser aproximadamente um intervalo e, portanto, quando há muitas classificações, a média se torna uma representação mais razoável. Eu achei esta resposta do @JeromyAnglim excelente (realmente, vale a pena ler a pergunta e todas as respostas que os acompanham). Para um tratamento mais teórico, veja aqui. Em uma nota diferente, eu gosto da Amazon, mas não vejo razão para esperar sofisticação estatística deles, especialmente em termos de design básico do site - o ponto é a usabilidade pelos consumidores, para não impressionar os professores de estatística.

Todo mundo tem boas opiniões sobre isso. Eu realmente não acho que posso adicionar muito mais. No entanto, vou postar isso :

Na minha experiência, a média dos dados na escala de classificação é frequentemente a mais correlacionada com o nível de métricas do mundo real que tentamos associar à escala de classificação. Encontramos muitas relações lineares, e a média é, portanto, uma das melhores maneiras de resumir os dados. Dito isto, como Jeromy apontou, a maioria das maneiras de analisar a tendência central de uma escala de classificação fornecerá resultados semelhantes (ordens de classificação, etc.) na maioria das vezes.

Além disso, suspeito que a Amazon provavelmente não esteja tão preocupada com a validade científica de uma maneira ou de outra. O objetivo da Amazon, no final, é fazer com que as pessoas comprem mais no Amazon.com, e a maneira como as revisões ajudam a alcançar isso provavelmente não variará de acordo com o resumo de um número usado. Bons produtos serão recompensados, produtos realmente ruins serão punidos e compradores nervosos terão a chance de revisar os prós e os contras com mais detalhes.

As classificações da Amazon são enganosas devido às empresas que jogam o sistema. Quando os clientes recebem descontos e mercadorias grátis em troca de críticas de 5 estrelas, as "estatísticas" de qual é o número ou o significado das classificações tornam-se discutíveis.

Você fez um bom ponto. Tomar a média dos números ordinais é um pouco enganador. Qualquer resumo de várias classificações sofreria com o fato de que meu subjetivo 3 pode realmente ser igual ao seu 4. Portanto, combinar diferentes pontuações individuais é provavelmente o maior problema. Interpretar a média de um 3 e um 4 como 3,5 não é tão notório.