Traduzindo o problema de aprendizado de máquina na estrutura de regressão

Suponha que eu tenha um painel de variáveis ​​explicativas $X_{it}$ , para $i = 1 ... N$ , $t = 1 ... T$ , bem como um vector de variáveis dependentes resultado binário $Y_{iT}$ . Então $Y$ é observado apenas no tempo final $T$ e não em nenhum momento anterior. O caso totalmente geral é ter múltiplos $X_{ijt}$ para $j=1...K$ para cada unidade $i$ a cada momento $t$, mas vamos nos concentrar no caso por questões de brevidade.$K=1$

Aplicações desses "desequilibrados" pares X , Y ) com variáveis ​​explicativas correlacionadas temporais são, por exemplo (preços diários das ações, dividendos trimestrais), (boletins meteorológicos diários, furacões anuais) ou (características da posição do xadrez após cada movimento, resultado de ganhos / perdas em final do jogo).$(X, Y)$

Estou interessado nos coeficientes de regressão (possivelmente não lineares) para fazer a previsão de Y i t , sabendo que nos dados de treinamento, dadas observações precoces de X i t para t < T , isso leva ao resultado final Y i $\beta_t$$Y_{it}$$X_{it}$$t < T$$Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Vindo de uma experiência em econometria, não vi muita modelagem de regressão aplicada a esses dados. OTOH, vi as seguintes técnicas de aprendizado de máquina sendo aplicadas a esses dados:

1. fazendo aprendizado supervisionado em todo o conjunto de dados, por exemplo, minimizando

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

simplesmente extrapolando / imputando o observado a todos os pontos anteriores no tempo$Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Isso parece "errado" porque não levará em consideração a correlação temporal entre os diferentes pontos no tempo.

2. realizando aprendizado de reforço , como diferença temporal, com o parâmetro de aprendizado e o parâmetro de desconto λ , e resolvendo recursivamente o β t através da propagação reversa a partir de t = $\alpha$$\lambda$$\beta_t$$t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

com o gradiente de f ( ) com respeito ao β .$\nabla_{\beta} \hat{Y}$$f()$$\beta$

Isso parece mais "correto" porque leva em conta a estrutura temporal, mas os parâmetros e λ são uma espécie de "ad hoc".$\alpha$$\lambda$

Pergunta : existe literatura sobre como mapear as técnicas de aprendizado supervisionado / reforçado acima em uma estrutura de regressão, conforme usado em estatística / econometria clássica? Em particular, eu gostaria de poder estimar os parâmetros em "one go" (ou seja, para todos t = 1 ... $\beta_{t}$$t=1...T$ simultaneamente) fazendo mínimos quadrados (não lineares) ou probabilidade máxima em modelos como Como

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

Eu também estaria interessado em saber se a diferença temporal está aprendendo os meta-parâmetros e $\alpha$$\lambda$ poderia ser recuperada a partir de uma formulação de probabilidade máxima.

The description of the problem is not entirely clear to me so I try to guess some assumptions. If this does not answer your question, it might at least help to clarify the issues further.

$Y_T$$t<T$$X_\tau$$\tau>t$

$Y_t$$X_1,\ldots, X_t$ at time $t<T$ the conditional expectation $Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$ is the "best predictor" of $Y_T$ in the L2 sense. In case you really want to predict the conditional expectation ordinary least squares is the method of choice for practical estimation.

Furthermore, I do not understand your remark about the correlations not being reflected by the regression based on the $X_1, \ldots, X_t$. This incorporates everything you know until $t$ including the correlations between your observations.

So summing up and phrasing this as an answer: If you want to make an optimal prediction in the L2 sense, based only on data observed until $t<T$ you can use least squares regression.

The advantage of temporal differences is that they allow you to learn from incomplete episodes. So, sequences where you haven't got to the the final Y can be still be used to fit the model; subsequent estimates are used instead. The effect is similar to hidden data imputation; implicitly you are imputing the remainder of the sequence according to your current model.
Temporal difference models are normally trained by stochastic gradient descent. $\alpha$ controls the learning rate. Too high and the method will diverge. Too low and convergence to a local optimum will be very slow. But convergence should always be to the same model.
Here, $\gamma$ controls the relative effort given to predictions depending on how far they are from the end of a sequence. Because these sequences are finite in length, you can set this to $\gamma=1$ , to put the same weight on all estimates.