Assessoria em construção de escala cientificamente sólida

Recebi um conjunto de 20 itens Likert (variando de 1 a 5, tamanho da amostra n = 299) no campo da pesquisa organizacional. Os itens destinam-se a medir um conceito latente que é multidimensional, multifacetado e heterogêneo em sua própria natureza. O objetivo é criar uma (s) escala (s) que possam ser bem usadas para analisar diferentes organizações e serem usadas na regressão logística. Seguindo a associação americana de psicologia, uma escala deve ser (1) unidimensional, (2) confiável e (3) válida.

Portanto, decidimos selecionar quatro dimensões ou subescalas com 4/6/6/4 itens cada; com a hipótese de representar o conceito.

Os itens foram construídos usando a abordagem reflexiva (gerando muitos itens possíveis e excluindo iterativamente itens usando o alfa de cronbach e a representação conceitual (validade) em três grupos subsequentes).

Usando os dados disponíveis, uma análise fatorial explicativa paralela preliminar baseada em correlações policóricas e usando rotação varimax revelou que os itens carregam outros fatores além do esperado. Existem pelo menos 7 fatores latentes, em oposição a quatro fatores hipotéticos. A correlação média entre itens é bastante baixa (r = 0,15), embora positiva. O coeficiente cronbach-alfa também é muito baixo (0,4-0,5) para cada escala. Duvido que uma análise fatorial confirmatória produza um bom ajuste do modelo.

Se duas dimensões fossem descartadas, o alfa de cronbachs seria aceitável (0,76,0,7 com 10 itens por escala, que ainda poderia ser aumentado usando a versão ordinal do alfa de cronbachs), mas as próprias escalas ainda seriam multidimensionais!

Como sou iniciante em estatística e não tenho o conhecimento adequado, não sei como prosseguir. Como reluto em descartar a (s) escala (s) completamente e renunciar a uma abordagem apenas descritiva, tenho perguntas diferentes:

I) É errado usar escalas confiáveis, válidas, mas não unidimensionais?

II) Seria apropriado interpretar o conceito posteriormente como formativo e usar o teste tetrad de fuga para avaliar a especificação do modelo e usar mínimos quadrados parciais (PLS) para chegar a uma possível solução? Afinal, o conceito parece ser mais formativo do que reflexivo.

III) O uso dos modelos de resposta ao item (Rasch, GRM etc) seria de alguma utilidade? Como eu li, os modelos rasch, etc. também precisam da suposição de unidimensionalidade

IV) Seria apropriado usar os 7 fatores como novas "subescalas"? Apenas descarte a definição antiga e use uma nova com base em cargas fatoriais?

Eu apreciaria qualquer opinião sobre este :)

EDIT: Adicionado fator de cargas e correlações

> fa.res$fa
Factor Analysis using method =  ml
Call: fa.poly(x = fl.omit, nfactors = 7, rotate = "oblimin", fm = "ml") 

Cargas fatoriais calculadas a partir da matriz de padrão fatorial e matriz de intercorrelação fatorial, somente valores acima de 0,2 são exibidos

Estou assumindo que o objetivo de sua análise é obter evidências da validade de sua escala / instrumento. portanto, antes de tudo, seu instrumento foi projetado com base em quatro construções hipotéticas; portanto, você deve abordar isso usando a análise fatorial confirmatória (CFA). A análise fatorial exploratória (AFE) é apropriada quando não existe uma teoria a priori que descreva a relação entre variáveis ​​observadas (itens) e construções e pode resultar em fatores ininterpretáveis, como você vê aqui.

depois examine os resultados do seu modelo CFA. as várias estatísticas de ajuste (por exemplo, X ^ 2, RMSEA, índices de modificação, estatísticas de teste de resistência) podem guiá-lo através do refinamento do seu modelo.

se você preferir uma abordagem mais exploratória, considere também a "pesquisa reversa": Chou CP, Bentler, PM (2002). Modificação de modelo na modelagem de equações estruturais por imposição de restrições, Estatística Computacional e Análise de Dados, 41, (2), 271-287.

Uma situação difícil. Os fatores 6, 4 e 7 parecem medidos com bastante robustez, mas não os outros, e aposto que a consistência interna será baixa para os fatores 1, 3 e 5. É possível avaliar a confiabilidade por meio de outro método, como como inter-avaliador? Ou para avaliar a validade através de algum outro método que não a validade de construção via análise fatorial? Mesmo que escalas diferentes (ou itens individuais) sejam validadas de maneiras diferentes - às vezes você precisa fazer o que puder.

De qualquer forma, eu pude ver o uso da v6 e v17 individualmente. Por que forçá-los a uma escala de vários itens quando as cargas e correlações se parecem com isso?

E mesmo considerando o que eu disse acima sobre a cobertura que implica validade, concordo que você deseja manter seus preditores de regressão praticamente unidimensionais - especialmente porque você possui um grande número de preditores, pois com variáveis ​​multidimensionais as águas ficarão muito, muito lamacentas . Isso é particularmente relevante, pois você parece estar adotando muito mais um modo explicativo do que puramente preditivo (você se preocupa com a causalidade).