Avaliando a confiabilidade de um questionário: dimensionalidade, itens problemáticos e se deve usar alfa, lambda6 ou algum outro índice?

Estou analisando as pontuações dadas pelos participantes de um experimento. Quero estimar a confiabilidade do meu questionário, composto por 6 itens, com o objetivo de estimar a atitude dos participantes em relação a um produto.

Eu calculei o alfa de Cronbach tratando todos os itens como uma escala única (o alfa era de cerca de 0,6) e excluindo um item de cada vez (o máximo de alfa era de 0,72). Eu sei que o alfa pode ser subestimado e superestimado, dependendo do número de itens e da dimensionalidade da construção subjacente. Então, eu também realizei um PCA. Esta análise revelou que havia três componentes principais explicando cerca de 80% da variação. Então, minhas perguntas são sobre como posso proceder agora?

• Preciso executar o cálculo alfa em cada uma dessas dimensões?
• Tenho remover os itens que afetam a confiabilidade?

Além disso, pesquisando na web, descobri que há outra medida de confiabilidade: a lambda6 do guttman.

• Quais são as principais diferenças entre essa medida e alfa?
• Qual é um bom valor de lambda?

Acho que a Jeremy já disse o essencial, então vou me concentrar nas medidas de confiabilidade.

O alfa de Cronbach é um índice dependente de amostra usado para determinar um limite inferior da confiabilidade de um instrumento. Não passa de um indicador de variação compartilhado por todos os itens considerados no cálculo de uma pontuação da escala. Portanto, não deve ser confundido com uma medida absoluta de confiabilidade, nem se aplica a um instrumento multidimensional como um todo. Com efeito, são feitas as seguintes premissas: (a) nenhuma correlação residual, (b) itens têm cargas idênticas e (c) a escala é unidimensional. Isso significa que o único caso em que alfa será essencialmente o mesmo que confiabilidadeé o caso de cargas fatoriais uniformemente altas, sem covariâncias de erro e instrumento unidimensional (1). Como sua precisão depende do erro padrão das intercorrelações de itens, depende da dispersão das correlações de itens, o que significa que alfa refletirá esse intervalo de correlações, independentemente da fonte ou fontes desse intervalo específico (por exemplo, erro de medição ou multidimensionalidade). Este ponto é amplamente discutido em (2). Vale ressaltar que quando alfa é 0,70, um limite de confiabilidade amplamente referido para fins de comparação de grupo (3,4), o erro padrão de medição será superior a metade (0,55) de um desvio padrão. Além disso, o alfa de Cronbach é uma medida da consistência interna, não é uma medida de unidimensionalidade e não pode ser usada para inferir a unidimensionalidade (5). Por fim, podemos citar o próprio LJ Cronbach,

Os coeficientes são um dispositivo bruto que não traz à tona muitas sutilezas implícitas pelos componentes de variação. Em particular, as interpretações feitas nas avaliações atuais são melhor avaliadas através do uso de um erro padrão de medição. --- Cronbach e Shavelson, (6)

Existem muitas outras armadilhas que foram amplamente discutidas em vários artigos nos últimos 10 anos (por exemplo, 7-10).

Guttman (1945) propôs uma série de 6 chamados índices lambda para avaliar um limite inferior similar de confiabilidade e o Guttman$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Referências

1. Raykov, T. (1997). Confiabilidade da escala, alfa do coeficiente de Cronbach e violações da equivalência tau essencial para componentes congenéricos fixos. Pesquisa Comportamental Multivariada , 32, 329-354.
2. Cortina, JM (1993). O que é o coeficiente alfa? Um exame de teoria e aplicações . Jornal de Psicologia Aplicada , 78 (1), 98-104.
3. Nunnally, JC e Bernstein, IH (1994). Teoria psicométrica . Série McGraw-Hill em Psicologia, terceira edição.
4. De Vaus, D. (2002). Analisando dados de ciências sociais . London: Sage Publications.
5. Danes, JE e Mann, OK. (1984). Medição unidimensional e modelos de equações estruturais com variáveis ​​latentes.Journal of Business Research , 12, 337-352.
6. Cronbach, LJ e Shavelson, RJ (2004). Meus pensamentos atuais sobre alfa coeficiente e procedimentos sucessores . Medida educacional e psicológica , 64 (3), 391-418.
7. Schmitt, N. (1996). Usos e Abusos do Coeficiente Alfa .Avaliação Psicológica , 8 (4), 350-353.
8. Iacobucci, D. e Duhachek, A. (2003). Alfa avançando: medindo a confiabilidade com confiança . Journal of Consumer Psychology , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO e Walker, S. (2000). Coeficiente alfa: um indicador útil de confiabilidade? Personalidade e diferenças individuais , 28, 229-237.
10. Fong, DYT, Ho, SY e Lam, TH (2010). Avaliação da confiabilidade interna na presença de respostas inconsistentes . Resultados de Saúde e Qualidade de Vida , 8, 27.
11. Guttman, L. (1945). Uma base para analisar a confiabilidade teste-reteste. Psychometrika , 10 (4), 255-282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. e Zinbarg, RE (2009) Coeficientes alfa, beta, ômega e glb: comentários sobre Sijtsma . Psicometria , 74 (1), 145-154

Aqui estão alguns comentários gerais:

• PCA : A análise do PCA "não revela que existem três componentes principais". Você optou por extrair três dimensões ou contou com alguma regra prática padrão (geralmente valores próprios acima de 1) para decidir quantas dimensões extrair. Além disso, valores próprios sobre um geralmente extraem mais dimensões do que é útil.
• Avaliando a dimensionalidade do item: Concordo que você pode usar o PCA para avaliar a dimensionalidade dos itens. No entanto, acho que observar o gráfico de seixos pode fornecer uma orientação melhor para o número de dimensões. Você pode conferir esta página de William Revelle sobre a avaliação da dimensionalidade da escala .
• Como proceder?
  • Se a escala estiver bem estabelecida , você pode deixá-la como está (assumindo que suas propriedades sejam pelo menos razoáveis; embora, no seu caso, 0,6 seja relativamente ruim para a maioria dos padrões).
  • Se a escala não estiver bem estabelecida , considere teoricamente o que os itens devem medir e com que finalidade você deseja usar a escala resultante. Dado que você possui apenas seis itens, não há muito espaço para criar várias escalas sem cair para números preocupantes de itens por escala. Simultaneamente, é uma idéia inteligente verificar se há itens problemáticos com base em problemas de piso, teto ou baixa confiabilidade. Além disso, convém verificar se algum item precisa ser revertido.
  • Eu juntei alguns links para recursos gerais sobre desenvolvimento de escala que você pode achar úteis

O seguinte aborda suas perguntas específicas:

• Preciso executar o cálculo alfa em cada uma dessas dimensões?
  • Como você pode concluir da discussão acima, acho que você não deve tratar seus dados como se tivesse três dimensões. Há uma série de argumentos que você pode argumentar, dependendo de seus propósitos e detalhes, por isso é difícil dizer exatamente o que fazer. Na maioria dos casos, eu procuraria criar pelo menos uma boa escala (talvez excluindo um item) em vez de três escalas não confiáveis.
• Tenho remover os itens que afetam a confiabilidade?
  • Você decide. Se a escala for estabelecida, você poderá optar por não. Se o tamanho da sua amostra for pequeno, pode ser uma anomalia de amostragem aleatória. No entanto, em geral, eu estaria inclinado a excluir um item se ele realmente reduzir seu alfa de 0,72 para 0,60. Também verificaria se esse item problemático não deveria ser revertido.

Deixarei a discussão do lambda 6 ( discutida por William Revelle aqui ) para outras pessoas.