Comparando a Importância de Diferentes Conjuntos de Preditores

13

Eu estava aconselhando um estudante de pesquisa com um problema específico e estava ansioso para receber a opinião de outras pessoas neste site.

Contexto:

O pesquisador possuía três tipos de variáveis preditoras. Cada tipo continha um número diferente de variáveis preditoras. Cada preditor era uma variável contínua:

Social: S1, S2, S3, S4 (ou seja, quatro preditores)
Cognitivo: C1, C2 (ou seja, dois preditores)
Comportamental: B1, B2, B3 (ou seja, três preditores)

A variável resultado também foi contínua. A amostra incluiu cerca de 60 participantes.

O pesquisador quis comentar sobre que tipo de preditores eram mais importantes na explicação da variável resultado. Isso estava relacionado a preocupações teóricas mais amplas sobre a importância relativa desses tipos de preditores.

Questões

Qual é uma boa maneira de avaliar a importância relativa de um conjunto de preditores em relação a outro conjunto?
Qual é uma boa estratégia para lidar com o fato de que existem diferentes números de preditores em cada conjunto?
Que advertências na interpretação você sugere?

Qualquer referência a exemplos ou discussão de técnicas também seria bem-vinda.

regression predictor importance

— Jeromy Anglim
fonte

7

Suponha que o primeiro conjunto de preditores exija graus de liberdade (a 4 permitindo termos não lineares), o segundo conjunto exija b e o terceiro exija c (c 3) permitindo termos não lineares. Calcule o teste da razão de verossimilhança para os efeitos parciais combinados de cada conjunto, produzindo . O valor esperado de uma variável aleatória com d graus de liberdade é d, então subtraia d para nivelar o campo de jogo. Ou seja, calcular $\geq$ $\geq$ $\chi^2$ $L_{1}, L_{2}, L_{3}$ $\chi^2$ . Se estiver usando testes F, multiplique F pelo numerador df para obter aescala . $L_{1}-a, L_{2}-b, L_{3}-c$ $\chi^2$

— Frank Harrell
fonte

Para confirmar, sua abordagem é calcular L1 como a redução no desvio (-2 *) resultante da inclusão das quatro variáveis sociais, ajustada pelo df dessas quatro variáveis? E da mesma forma, por sua vez, para L2 e L3?

— precisa saber é o seguinte

χ^{2}

$\chi^2$

você também admitiria que existe o risco, na elaboração de uma solução puramente estatística, de perder um possível problema abrangente, no qual todos os três grupos de preditores possam medir características / comportamentos que ocorrem ao mesmo tempo. Sem um tipo de base causas anteriores, mais tarde, para uma cadeia causal, seria impossível separar definitivamente as relações causais nessa situação - quaisquer que sejam nossos cálculos? (Eu estou tentando pensar o modo como James Davis faz na lógica da ordem causal.)

— rolando2

Com certeza. A cadeia causal deve ser entendida antes mesmo da modelagem começar.

— Frank Harrell

@FrankHarrell Esses resultados também se aplicam à probabilidade penalizada? A probabilidade penalizada possui propriedades que a diferenciam da probabilidade com relação a essa medida de importância variável? Você poderia sugerir trabalhos que descrevam isso com mais detalhes? Obrigado.

— Julieth 13/07/12

7

Sugestões

Você pode executar várias regressões individuais para cada tipo de preditor e comparar entre várias regressões, quadrado r ajustado, quadrado r generalizado ou alguma outra medida de variação ajustada por parcimônia explicada.
Como alternativa, você pode explorar a literatura geral sobre importância variável ( veja aqui uma discussão com links ). Isso incentivaria o foco na importância de preditores individuais.
Em algumas situações, a regressão hierárquica pode fornecer uma estrutura útil. Você digitaria um tipo de variável em um bloco (por exemplo, variáveis cognitivas) e no segundo bloco outro tipo (por exemplo, variáveis sociais). Isso ajudaria a responder à questão de saber se um tipo de variável prediz acima e acima de outro tipo.
Como um exame paralelo, você pode executar uma análise fatorial nas variáveis preditivas para examinar se as correlações entre as variáveis preditivas são mapeadas para a atribuição de variáveis aos tipos.

Ressalvas

Tipos de variáveis como cognitiva, social e comportamental são classes amplas de variáveis. Um determinado estudo sempre incluirá apenas um subconjunto das variáveis possíveis e, normalmente, esse subconjunto é pequeno em relação às variáveis possíveis. Além disso, as variáveis medidas podem não ser os meios mais confiáveis ou válidos para medir a construção pretendida. Portanto, você precisa ter cuidado ao extrair uma inferência mais ampla sobre a importância relativa de um determinado tipo de variável além do que foi realmente medido.
Você também precisa considerar qualquer viés na maneira como a variável dependente foi medida. Particularmente em estudos psicológicos, existe uma tendência de as medidas de autorrelato se correlacionarem bem com autorrelato, habilidade com capacidade, outro relatório com outro relatório e assim por diante. A questão é que o modo de medição tem um grande efeito além da construção real de interesse. Portanto, se a variável dependente for medida de uma maneira específica (por exemplo, autorrelato), não interprete demais as correlações maiores com um tipo de preditor, se esse tipo também usar autorrelato.

— Jeromy Anglim
fonte

Gostei de ler essa resposta clara e útil e vou compartilhar com um colega.

— Rolando2

6

Importância

A primeira coisa a fazer é operacionalizar a 'importância dos preditores'. Suponho que isso signifique algo como "sensibilidade do resultado médio às mudanças nos valores dos preditores". Como seus preditores estão agrupados, a sensibilidade do resultado médio para grupos de preditores é mais interessante do que uma variável por análise de variáveis. Deixo em aberto se a sensibilidade é entendida causalmente. Essa questão é abordada mais tarde.

Três versão de importância

Muita variação explicou : Eu estou supondo que o primeiro ponto de escala dos psicólogos seja provavelmente uma decomposição de variação, levando a uma medida de quanta variação de resultado é explicada pela estrutura de variância-covariância em cada grupo de preditores. Não sendo um experimentalista, não posso sugerir muita coisa aqui, exceto para observar que todo o conceito de 'variação explicada' é um pouco infundado para o meu gosto, mesmo sem a questão 'qual soma de quais quadrados'. Outros são bem-vindos a discordar e desenvolvê-lo ainda mais.

Grandes coeficientes padronizados : o SPSS oferece o beta (nomeado incorretamente) para medir o impacto de maneira comparável entre variáveis. Existem várias razões para não usar isso, discutidas no livro de regressão de Fox, aqui e em outros lugares. Todos se aplicam aqui. Ele também ignora a estrutura do grupo.

Por outro lado, imagino que se possa padronizar preditores em grupos e usar informações de covariância para julgar o efeito de um movimento de desvio padrão em todos eles. Pessoalmente, o lema: "se algo não vale a pena fazer, não vale a pena fazer bem" diminui meu interesse em fazê-lo.

Grandes efeitos marginais : A outra abordagem é permanecer na escala das medições e calcular efeitos marginais entre os pontos de amostra cuidadosamente escolhidos. Como você está interessado em grupos, é útil escolher pontos para variar grupos de variáveis em vez de grupos únicos, por exemplo, manipular as duas variáveis cognitivas de uma só vez. (Muitas oportunidades para terrenos legais aqui). Artigo básico aqui . O effectspacote em R fará isso muito bem.

Existem duas advertências aqui:

Se você fizer isso, deve observar que não está escolhendo duas variáveis cognitivas que, embora individualmente plausíveis, por exemplo, medianas, estejam conjuntamente longe de qualquer observação do sujeito.
Algumas variáveis nem são manipuláveis teoricamente, portanto a interpretação dos efeitos marginais como causais é mais delicada, embora ainda útil.

Números diferentes de preditores

Os problemas surgem devido à estrutura de covariância das variáveis agrupadas, com a qual normalmente tentamos não nos preocupar, mas essa tarefa deveria.

Em particular, ao calcular efeitos marginais (ou coeficientes padronizados para esse assunto) em grupos, em vez de variáveis únicas, a maldição da dimensionalidade para grupos maiores facilita as comparações entre regiões onde não há casos. Mais preditores em um grupo levam a um espaço mais escassamente povoado; portanto, qualquer medida de importância dependerá mais das suposições do modelo e menos das observações (mas não dirá isso ...). Mas esses são os mesmos problemas que na fase de ajuste do modelo realmente. Certamente os mesmos que surgiriam em uma avaliação de impacto causal baseada em modelo.

— conjugateprior
fonte

2

Um método é combinar os conjuntos de variáveis em variáveis de sheaf. Este método tem sido amplamente utilizado na sociologia e áreas afins.

Refs:

Whitt, Hugh P. 1986. "O coeficiente de feixe: uma abordagem simplificada e expandida". Social Science Research 15: 174-189.

— GaryMarks
fonte