O que fazer quando o CFA ajustado para a escala de itens múltiplos é ruim?

Não tenho certeza de como proceder com esse CFA que estou fazendo em lavaan. Eu tenho uma amostra de 172 participantes (eu sei que isso não é muito para um CFA) e 28 itens com escalas Likert de 7 pontos que devem carregar sete fatores. Fiz um CFA com estimadores de "mlm", mas o ajuste do modelo foi muito ruim (χ2 (df = 329) = 739,36; índice de ajuste comparativo (CFI) = 0,69; raiz quadrada média residual padronizada (SRMR) = 10; erro quadrático médio da raiz da aproximação (RMSEA) = 0,09; RMSEA intervalo de confiança de 90% (IC) = [0,08, 0,10]).

Eu tentei o seguinte:

• modelo bifator com um fator de método geral -> não converge.

• estimadores para dados ordinais („WLSMV“) -> Ajuste do modelo: (χ2 (df = 329) = 462; índice de ajuste comparativo (CFI) = 0,81; resíduo quadrado médio da raiz padronizada (SRMR) = 0,09; erro quadrático médio da raiz de aproximação (RMSEA) = 0,05; RMSEA 90% intervalo de confiança (IC) = [0,04, 0,06])

• redução do modelo por itens que carregam pouco em um fator e adicionam covariâncias entre itens específicos -> Ajuste do modelo: χ2 (df = 210) = 295; índice de ajuste comparativo (CFI) = 0,86; raiz quadrada média residual padronizada (SRMR) = 0,08; erro quadrático médio da raiz da aproximação (RMSEA) = 07; RMSEA Intervalo de confiança de 90% (IC) = [.06, .08].

Agora minhas perguntas:

• O que devo fazer com esse modelo?

• O que seria estatisticamente correto fazer?

• Relatar que ele se encaixa ou que não se encaixa? E qual desses modelos?

Eu ficaria feliz em ter uma discussão com você sobre isso.

Aqui está a saída lavaan do CFA do modelo original:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Volte para a Análise fatorial exploratória

Se você está com problemas de CFA muito ruins, geralmente é um sinal de que você pulou muito rapidamente para o CFA. Você deve voltar à análise fatorial exploratória para aprender sobre a estrutura do seu teste. Se você tiver uma amostra grande (no seu caso, não), poderá dividir sua amostra para obter uma amostra exploratória e uma confirmatória.

• Aplique procedimentos exploratórios de análise fatorial para verificar se o número teorizado de fatores parece razoável. Eu verificaria o scree plot para ver o que ele sugere. Eu então verificaria a matriz de carregamento de fatores rotacionados com o número teorizado de fatores, bem como com um ou dois fatores a mais e um ou dois fatores a menos. Muitas vezes, você pode ver sinais de sub ou superextração de fatores observando essas matrizes de carregamento de fatores.
• Use a análise fatorial exploratória para identificar itens problemáticos. Em particular, itens que carregam mais em um fator não teorizado, itens com grandes cargas cruzadas, itens que não carregam muito em nenhum fator.

Os benefícios do EFA são que ele oferece muita liberdade; portanto, você aprenderá muito mais sobre a estrutura do teste do que analisando apenas os índices de modificação do CFA.

De qualquer forma, esperamos que, com esse processo, você tenha identificado alguns problemas e soluções. Por exemplo, você pode soltar alguns itens; você pode atualizar seu modelo teórico de quantos fatores existem e assim por diante.

2. Melhorar o ajuste da análise fatorial confirmatória

Há muitos pontos que poderiam ser feitos aqui:

O CFA em escalas com muitos itens por escala geralmente apresenta desempenho ruim pelos padrões tradicionais. Isso geralmente leva as pessoas (e note que essa resposta é muitas vezes infeliz) a formar pacotes de itens ou usar apenas três ou quatro itens por escala. O problema é que as estruturas CFA tipicamente propostas falham em capturar as pequenas nuances dos dados (por exemplo, pequenas cargas cruzadas, itens dentro de um teste que se correlacionam um pouco mais que outros, fatores de menor incômodo). Estes são amplificados com muitos itens por escala.

Aqui estão algumas respostas para a situação acima:

• Faça SEM exploratório que permita várias cargas cruzadas pequenas e termos relacionados
• Examine os índices de modificação e incorpore algumas das maiores modificações razoáveis; por exemplo, alguns resíduos correlatos dentro da escala; algumas cargas cruzadas. veja modificationindices(fit)em lavaan.
• Use parcelamento de itens para reduzir o número de variáveis ​​observadas

Comentários gerais

Portanto, em geral, se o seu modelo de CFA é realmente ruim, retorne ao EFA para saber mais sobre sua escala. Como alternativa, se o seu EFA é bom e o CFA parece um pouco ruim devido a problemas conhecidos de ter muitos itens por escala, as abordagens padrão do CFA, conforme mencionado acima, são apropriadas.

Eu trabalhava na tentativa de convergir o modelo bifator. Tente ajustar os valores iniciais ... isso pode ser uma abordagem desconfiada, portanto, lembre-se disso e interprete com cautela. Leia sobre os perigos de interpretar modelos que resistem à convergência se você quiser ser realmente cauteloso - admito que ainda não fiz muito isso no meu estudo de SEM, por isso sugiro fazer o que você precisa fazer para obter o modelo convergem principalmente para seu benefício. Não sei se será mais adequado para publicação, mas se claramente não for porque o modelo bifator também não se encaixa bem, pode ser bom que você saiba.

Caso contrário, parece que você fez o máximo possível com os dados que possui. AFAIK (Eu estive olhando profundamente neste recentemente por um projeto metodológico do meu próprio, então por favor me corrija se eu estiver errado !!), WLSMV estimativa em lavaanusos limiares de correlações policóricas, que é a melhor maneira de obter um bom ajuste índices de um CFA de dados ordinais. Supondo que você especificou seu modelo corretamente (ou pelo menos de maneira ideal), isso é tudo o que você pode fazer. A remoção de itens com baixa carga e a estimativa livre de covariâncias entre itens está indo um pouco longe, mas você também tentou.

Seu modelo não se encaixa bem nos padrões convencionais, como você provavelmente já sabe. Claro que você não deve dizer que se encaixa bem quando não. Isso se aplica a todos os conjuntos de estatísticas de ajuste que você relatar aqui, infelizmente (suponho que você esperava que fosse adequado). Algumas de suas estatísticas de ajuste são apenas razoavelmente ruins, não totalmente ruins (o RMSEA = 0,05 é aceitável), mas no geral, nenhuma delas é uma boa notícia, e você tem a responsabilidade de ser honesto sobre isso, se quiser publicar esses resultados. Espero que você possa, FWIW.

De qualquer maneira, considere coletar mais dados, se puder; isso pode ajudar, dependendo do que você procura. Se seu objetivo é um teste de hipótese confirmatória, bem, você "espiou" seus dados e aumentará sua taxa de erro se você reutilizá-lo em uma amostra expandida. Portanto, a menos que você possa apenas deixar esse conjunto de dados de lado e replicar um todo, novo, maior, você tem um cenário difícil de lidar. No entanto, se você estiver interessado em estimar parâmetros e diminuir os intervalos de confiança, acho que pode ser razoável reunir o máximo de dados possível, incluindo todos os que você já usou aqui. Se você puder obter mais dados, poderá obter melhores índices de ajuste, o que tornaria suas estimativas de parâmetro mais confiáveis. Espero que isso seja bom o suficiente.