Qual é a diferença entre o modelo determinístico e estocástico?

Modelo linear simples:

$x=\alpha t + \epsilon_t$ onde ~ iid $\epsilon_t$ $N(0,\sigma^2)$

com e $E(x) = \alpha t$ $Var(x)=\sigma^2$

AR (1):

$X_t =\alpha X_{t-1} + \epsilon_t$ onde ~ iid $\epsilon_t$ $N(0,\sigma^2)$

com e $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Portanto, um modelo linear simples é considerado um modelo determinístico, enquanto um modelo AR (1) é considerado um modelo estocástico.

De acordo com um vídeo do Youtube de Ben Lambert - Deterministic vs Stochastic , o motivo do AR (1) ser chamado de modelo estocástico é porque a variação do mesmo aumenta com o tempo. Então, o recurso da variação não constante deve ser o critério para determinar o estocástico ou determinístico?

Também não acho que o modelo linear simples seja totalmente determinístico, pois temos um termo associado ao modelo. Portanto, sempre temos uma aleatoriedade em . Então, em que grau podemos dizer que um modelo é determinístico ou estocástico? $\epsilon_t$ $x$

— Ken T
fonte

Qualquer modelo que tenha um termo de erro é estocástico. Não tem nada a ver com a variação ter que mudar com o tempo.

— Michael R. Chernick

@MichaelChernick Eu não entendo. Então, por que as pessoas dizem que a regressão linear simples é um modelo determinístico?

— Ken T

Você poderia fornecer um link para mostrar onde isso é dito e por que é dito.

— Michael R. Chernick

Foi a partir das notas do meu curso de análise de séries temporais, alguns anos atrás. Talvez esteja errado.

— Ken T

Respostas:

O vídeo está falando sobre tendências determinísticas versus estocásticas , não modelos . O destaque é muito importante. Ambos os modelos são estocásticos, no entanto, no modelo 1, a tendência é determinística.

O modelo 2 não tem uma tendência. O texto da sua pergunta está incorreto.

O modelo 2 na sua pergunta é AR (1) sem constante, enquanto no vídeo o modelo é uma caminhada aleatória (movimento browniano): Este modelo realmente tem uma tendência estocástica . É estocástico porque é apenas em média. Cada realização de um movimento browniano se desviará de por causa do termo aleatório , que é fácil de ver por meio da diferenciação:

x_{t} = α + x_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ x_{t} = x_{t} - x_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

x_{t} = x_{0} + \sum_{t = 1}^{t} Δ x_{t} = x_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

— Aksakal
fonte

+1. Mas, para ser perfeitamente claro e preciso, você pode apontar que o desvio de é devido ao termo aleatório , não apenas .

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

— whuber

Como Aksakal mencionou em sua resposta, o vídeo vinculado por Ken T descreve propriedades de tendências , não diretamente de modelos, presumivelmente como parte do ensino sobre o tópico relacionado de estacionariedade de tendências e diferenças na econometria. Como na sua pergunta, você perguntou sobre modelos, aqui está o contexto dos modelos :

Um modelo ou processo é estocástico se tiver aleatoriedade. Por exemplo, se forem fornecidas as mesmas entradas (variáveis independentes, pesos / parâmetros, hiperparâmetros etc.), o modelo poderá produzir saídas diferentes. Nos modelos determinísticos, a saída é totalmente especificada pelas entradas do modelo (variáveis independentes, pesos / parâmetros, hiperparâmetros etc.), de modo que, dadas as mesmas entradas para o modelo, as saídas sejam idênticas. A origem do termo "estocástico" vem de processos estocásticos . Como regra geral, se um modelo tem uma variável aleatória, é estocástico. Modelos estocásticos podem até ser variáveis aleatórias independentes simples.

Vamos descompactar mais algumas terminologias que ajudarão você a entender a literatura sobre modelos estatísticos (determinísticos, estocásticos ou outros ...):

Os modelos estocásticos não precisam ser dependentes do tempo ou até mesmo processos de Markov (dependentes de estados passados, por exemplo, é Markov de primeira ordem, pois depende do estado em ). O modelo linear que você colocou acima é estocástico (tem uma variável aleatória), mas não Markov (não depende de estados passados). No modelo linear colocado na pergunta, o termo erro é uma variável aleatória que supomos não correlacionada (algumas pessoas vão além, afirmando que o erro é iid), distribuídas simetricamente sobre a média (algumas pessoas vão além, afirmando que o erro é normalmente distribuído) e zero médio ( ), etc. Fazemos essas suposições para tornar o modelo linear útil para estimar $AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ a variável dependente, minimizando alguma norma desse termo de erro. Essas premissas permitem derivar propriedades úteis dos estimadores e provar que certos estimadores são os melhores sob essas premissas; por exemplo, que o estimador OLS é AZUL .

Um exemplo mais simples de um modelo estocástico é o lançamento de uma moeda justa (cara ou coroa), que pode ser modelada estocástica como uma variável aleatória binária uniformemente distribuída do iid, ou um processo de Bernoulli . Você também pode considerar o lançamento da moeda como um sistema físico e criar um modelo determinístico (em um cenário idealizado) se levar em consideração o formato da moeda, o ângulo e a força do impacto, a distância da superfície etc. O último modelo (físico) do coin flip não possui variáveis aleatórias (por exemplo, não considera erro de medição de nenhuma das entradas do modelo), então é determinístico.

No ensino de estatística, existe um ponto comum de confusão entre estocástica e heterocedasticidade . Por exemplo, Ken T confundiu estocticidade por heterocedasticidade (ou variabilidade na variação). Uma variável aleatória (estocástica), como a variável de saída de um processo ou em um modelo linear , é heterocedástica se sua variação for alterada em relação a alguma entrada, como o tempo ( ) em Nesse caso, de modo que diferentes grupos dentro da população tenham diferentes variações. No vídeo vinculado por Ken T (de Ben Lambert), se você pausar às 4:00 (4 minutos), poderá ver que $X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ no modelo no lado direito muda com (heterocedástico) enquanto no modelo linear é constante (homoscedástico). $t$ $Var[X_t]$

Além disso, às vezes há confusão entre processos estocásticos estacionários e processos estocásticos não estacionários. A estacionariedade implica que estatísticas como média ou variância não mudem ao longo do tempo no modelo. Ambos ainda são considerados modelos / processos estocásticos, desde que haja aleatoriedade envolvida. Como o colega Maroon, Matthew Gunn, menciona em sua resposta, a decomposição de Wold afirma que qualquer processo estocástico estacionário pode ser escrito como a soma de um processo determinístico e estocástico.

— eu faço
fonte

Ótima resposta! Uma pergunta: por que você escreve "... se sua variação muda sobre algum parâmetro ...", isso não deve mudar em alguma variável (ou função de uma variável)?

— Alexis

@ Alexis Eu estava me referindo ao tempo como parâmetro do modelo. Você está correto, essa linguagem é imprecisa. Fixo. Obrigado. :-)

— ido

Como a variação da AR (1) muda?

— Aksakal

@Aksakal não muda com o tempo e é , mas para if ... ( refere-se ao modelo descrito como tal por Ken T.)

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$

— ido

Apenas mostrando o trabalho, caso seja o que você estava perguntando, Aksakal: e é constante porque é iid, ou pelo menos não correlacionado. Além disso, é óbvio, mas como é iid .

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

— Ido

Algumas definições informais

Uma série temporal determinística pode ser escrita como uma função apenas de tempo. Não há aleatoriedade. Alguns exemplos:
- $y(t) = 2t$
- $y(t) = e^t$
Um processo estocástico $\{Y_t\}$ é uma série de variáveis aleatórias. Lembre-se de que uma variável aleatória é uma função de um espaço de amostra para um resultado. Um processo estocástico é uma função do tempo um resultado do espaço da amostra . Exemplos: $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ onde (isto é, segue a distribuição normal padrão) $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
Você também pode pensar em um processo estocástico como um caminho determinístico para cada resultado no espaço de amostra . Desenha aleatoriamente um e você obtém um caminho . $\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Alguns comentários...

... razão da AR (1) ser chamada como modelo estocástico é porque a variação dela aumenta com o tempo.

Essa não é a razão! A razão pela qual um AR (1) define um processo estocástico é porque o processo é aleatório. Valores diferentes são possíveis ao mesmo tempo , portanto, o processo é estocástico. $t$

Também não acho que o modelo linear simples seja totalmente determinístico, pois temos um termo associado ao modelo. $\epsilon_t$

O você escreveu lá não é determinístico. Se você tivesse um tempo série processar onde é um processo de ruído branco , a série cronológica seria não ser determinista. É estocástico porque existe aleatoriedade! $x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

A série temporal seria determinística. Você pode decompor em dois componentes: um componente determinístico componente estocástico . $y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Isso leva ao Teorema de Wold que qualquer processo estacionário de covariância pode ser decomposto exclusivamente em um componente determinístico e um componente estocástico.

— Matthew Gunn
fonte