Faz sentido adicionar um termo quadrático, mas não linear, a um modelo?

Eu tenho um modelo (misto) em que um dos meus preditores deve, a priori, estar relacionado quadraticamente ao preditor (devido à manipulação experimental). Por isso, gostaria de adicionar apenas o termo quadrático ao modelo. Duas coisas me impedem de fazê-lo:

1. Acho que li em algum lugar que você sempre deve incluir o polinômio de ordem inferior ao ajustar polinômios de ordem superior. Esqueci onde a encontrei e, na literatura em que olhei (por exemplo, Faraway, 2002; Fox, 2002), não consigo encontrar uma boa explicação.
2. Quando adiciono ambos, o termo linear e o quadrático, ambos são significativos. Quando adiciono apenas um deles, eles não são significativos. No entanto, uma relação linear de preditor e dados não é interpretável.

O contexto da minha pergunta é especificamente um modelo misto lme4, mas eu gostaria de obter respostas que pudessem explicar por que é ou por que não é adequado incluir um polinômio de ordem superior e não um polinômio de ordem inferior.

Se necessário, posso fornecer os dados.

1. Por que incluir o termo linear?

É esclarecedor notar que um relacionamento quadrático pode ser escrito de duas maneiras:

$$y = a_0 + a_1 x + a_2 x^2 = a_2(x - b)^2 + c$$

(onde, equacionando coeficientes, encontramos e ). O valor corresponde a um extremo global do relacionamento (geometricamente, localiza o vértice de uma parábola).$-2a_2 b = a_1$$a_2 b^2 + c = a_0$$x=b$

Se você não incluir o termo linear , as possibilidades serão reduzidas para$a_1 x$

$$y = a_0 + a_2 x^2 = a_2(x - 0)^2 + c$$

(onde agora, obviamente, e supõe-se que o modelo contenha um termo constante ). Ou seja, você força .$c = a_0$$a_0$$b=0$

À luz disso, a pergunta 1 resume-se à certeza de que o extremo global deve ocorrer em . Se você é, pode omitir com segurança o termo linear . Caso contrário, você deve incluí-lo.$x=0$$a_1 x$

2. Como entender as mudanças de significado à medida que os termos são incluídos ou excluídos?

Isso é discutido em detalhes em um thread relacionado em https://stats.stackexchange.com/a/28493 .

No presente caso, o significado de indica que há curvatura no relacionamento e o significado de indica que é diferente de zero: parece que você precisa incluir os dois termos (assim como a constante, é claro).$a_2$$a_1$$b$

@whuber deu uma resposta realmente excelente aqui. Eu só quero adicionar um pequeno ponto complementar. A pergunta afirma que "uma relação linear de preditor e dados não é interpretável". Isso sugere um mal-entendido comum, embora eu normalmente o ouça do outro lado ('qual é a interpretação do termo ao quadrado [cúbico, etc.]?').

Quando temos um modelo com várias covariáveis diferentes , cada termo beta geralmente pode ter sua própria interpretação. Por exemplo, se:

$$\widehat{\text{GPA}}_{college}=\beta_0+\beta_1\text{GPA}_{highschool}+\beta_2\text{class rank}+\beta_3\text{SAT},$$

(GPA significa média de notas;
classificação é a ordem do GPA de um aluno em relação a outros alunos da mesma escola; &
SAT significa 'teste de aptidão escolar', um teste padrão nacional para estudantes que frequentam a universidade)

então podemos atribuir interpretações separadas para cada beta / termo. Por exemplo, se o GPA do ensino médio de um aluno fosse 1 ponto mais alto - todos os demais sendo iguais - esperaríamos que o GPA da faculdade fosse pontos mais alto. $\beta_1$

É importante observar, no entanto, que nem sempre é permitido interpretar um modelo dessa maneira. Um caso óbvio é quando há uma interação entre algumas das variáveis, pois não seria possível que o termo individual diferisse e ainda assim tudo se mantivesse constante - por necessidade, o termo de interação também mudaria. Assim, quando há uma interação, não interpretamos efeitos principais, mas apenas efeitos simples , como é bem entendido.

A situação com termos de poder é diretamente análoga, mas infelizmente não parece ser amplamente compreendida. Considere o seguinte modelo: (Nesta situação, pretende representar uma covariável contínua prototípica.) Não é possível que mude sem mudar também, e vice versa. Simplificando, quando existem termos polinomiais em um modelo, os vários termos baseados na mesma covariável subjacente não recebem interpretações separadas. O termo ( , , etc.) não tem nenhum significado independente. O fato de um

$$\hat{y}=\beta_0+\beta_1x+\beta_2x^2$$ $x$$x$$x^2$$x^2$$x$$x^{17}$$p$O termo polinomial de potência é 'significativo' em um modelo indica que há 'dobras' de na função relacionada e . É lamentável, mas inevitável, que quando a curvatura existe, a interpretação se torna mais complicada e possivelmente menos intuitiva. Para avaliar a mudança em medida que muda, teremos que usar cálculo. A derivada do modelo acima é: que é a taxa instantânea de mudança no valor esperado de conforme muda, sendo o resto igual. Isso não é tão claro quanto a interpretação do modelo mais alto; importante, a taxa instantânea de mudança de$p-1$$x$$y$$\hat{y}$$x$
$$\frac{dy}{dx}=\beta_1+2\beta_2x$$ $y$$x$$y$ depende do nível de do qual a alteração é avaliada$x$ . Além disso, a taxa de variação em é uma taxa instantânea; isto é, ele próprio muda continuamente ao longo do intervalo de para . Essa é simplesmente a natureza de um relacionamento curvilíneo. $y$$x_{old}$$x_{new}$

A resposta do @ whuber acima está correta ao apontar que a omissão do termo linear é o modelo quadrático "usual" é equivalente a dizer: "Estou absolutamente certo de que o extremo está em ".$x=0$

No entanto, você também precisa verificar se o software que você está usando tem uma "pegadinha". Alguns softwares podem centralizar os dados automaticamente ao ajustar um polinômio e testar seus coeficientes, a menos que você desative a centralização polinomial. Ou seja, pode caber uma equação que se parece com onde é a média dos seus s. Isso forçaria o extremo a estar em . ˉ x x x = ˉ $Y = b_0 + b_2(x - \bar{x})^2$$\bar{x}$$x$$x=\bar{x}$

Sua afirmação de que os termos linear e quadrático são significativos quando ambos são inseridos precisa de algum esclarecimento. Por exemplo, o SAS pode relatar um teste Tipo I e / ou Tipo III para esse exemplo. O tipo I testa o linear antes de colocar o quadrático. O tipo III testa o linear com o quadrático no modelo.

Brambor, Clark e Golder (2006) (que vem com um apêndice da Internet ) têm uma visão muito clara de como entender os modelos de interação e como evitar as armadilhas comuns, incluindo por que você deve (quase) sempre incluir os termos de ordem inferior ( "termos constitutivos") em modelos de interação.

Os analistas devem incluir todos os termos constitutivos ao especificar modelos de interação multiplicativa, exceto em circunstâncias muito raras. Por termos constitutivos, entendemos cada um dos elementos que constituem o termo de interação. [..]

O leitor deve observar, porém, que os modelos de interação multiplicativa podem assumir uma variedade de formas e envolver termos quadráticos, como ou termos de interação de ordem superior, como . Independentemente da forma que o termo de interação assumir, todos os termos constitutivos devem ser incluídos. Assim, deve ser incluído quando o termo de interação é e , , , , e devem ser incluídos quando o termo de interação é . X Z J X X 2 X Z J X Z X J Z J X Z $X^2$$XZJ$$X$$X^2$$X$$Z$$J$$XZ$$XJ$$ZJ$$XZJ$

Não fazer isso pode resultar em um modelo subespecificado que levaria a estimativas tendenciosas. Isso pode levar a erros inferenciais.

Se esse for o caso, e estiver correlacionado com (ou ), como ocorrerá em praticamente qualquer circunstância das ciências sociais, a omissão do termo constitutivo resultará em estimativas tendenciosas (e inconsistentes) de , e . Embora nem sempre seja reconhecido como tal, este é um caso direto de viés variável omitido (Greene 2003, pp. 148-149).X Z X Z β 0 β 1 β $Z$$XZ$$X$$Z$$\beta_0$$\beta_1$$\beta_3$