Significância estatística das mudanças ao longo do tempo em um item Likert de 5 pontos

Contexto:

Eu tenho dois conjuntos de dados do mesmo questionário executados ao longo de dois anos. Cada pergunta é medida usando uma escala de 5-Likert.

Q1: esquema de codificação

No momento, codifiquei minhas respostas em um intervalo [0, 1], com 0 significando "resposta mais negativa", 1 significando "resposta mais positiva" e outras respostas espaçadas igualmente.

• Qual é o "melhor" esquema de codificação a ser usado na escala Likert?

Sei que isso pode ser um pouco subjetivo.

Q2: importância ao longo dos anos

• Qual é a melhor maneira de determinar se há mudanças estatisticamente significativas ao longo dos dois anos?

Ou seja, analisando os resultados da pergunta 1 de cada ano, como saber se a diferença entre o resultado de 2011 e o resultado de 2010 é estatisticamente significativa? Tenho uma vaga lembrança de que o teste t de Student é útil aqui, mas não tenho certeza.

1. Esquema de codificação

Em termos de avaliação da significância estatística usando um teste t, são as distâncias relativas entre os pontos da escala que importam. Assim, (0, 0,25, 0,5, 0,75, 1) é equivalente a (1, 2, 3, 4, 5). Pela minha experiência, um esquema de codificação de distância igual, como os mencionados anteriormente, é o mais comum e parece razoável para os itens do Likert. Se você explorar a escala ideal, poderá derivar um esquema de codificação alternativo.

2. Teste estatístico

A questão de como avaliar diferenças de grupo em um item do Likert já foi respondida aqui .

A primeira questão é se você pode vincular observações nos dois momentos. Parece que você teve uma amostra diferente. Isso leva a algumas opções:

• Teste t de grupos independentes : esta é uma opção simples; também testa diferenças nas médias de grupo; os puristas argumentam que o valor p pode não ser totalmente preciso; no entanto, dependendo de seus propósitos, pode ser adequado.
• Teste de diferenças de inicialização nas médias de grupo : Se você ainda deseja testar as diferenças entre as médias de grupos, mas não se sente à vontade com a natureza discreta da variável dependente, use um bootstrap para gerar intervalos de confiança a partir dos quais é possível inferir sobre mudanças nas médias de grupos. .
• Teste U de Mann-Whitney (entre outros testes não paramétricos): Esse teste não assume normalidade, mas também está testando uma hipótese diferente.

O Teste Wilcoxon Ranksum, também conhecido como Mann-Whitney, é o caminho a seguir no caso de dados ordinais. A solução de bootstrapping também é elegante, embora não seja o caminho "clássico" a seguir. O método Bootstrapping também pode ser valioso caso você busque outras coisas, como análise fatorial. No caso de análise de regressão, você pode escolher probit ordenado ou logit ordenado como uma especificação de modelo.

BTW: Se sua escala tiver um intervalo maior (> 10 valores por variável), você poderá usar os resultados como uma variável métrica, o que torna o teste t uma escolha segura. Lembre-se de que isso é um pouco sujo e pode ser considerado trabalho do diabo por alguns.

stephan