Estatísticas e Big Data

Estimei algumas medidas repetidas modelos de efeitos fixos, com um componente de erro aninhado, com base em variáveis ​​de agrupamento, ou seja, modelos não aninhados, usando plm . Agora estou interessado em teste se os modelos completos são significativamente diferentes, ou seja, onde é o modelo completo para e é …

8 r  hypothesis-testing  repeated-measures  nested-data  plm 

A Senhora A seleciona um número XXX aleatoriamente da distribuição uniforme em [0,1][0,1][0, 1] . Em seguida, o Sr. B repetidamente, e de forma independente, números de chama Y1,Y2,...Y1,Y2,...Y_1, Y_2, ...da distribuição uniforme em [0,1][0,1][0, 1] , até que ele obtenha um número maior que X2X2\frac{X}{2} e depois para. A …

8 probability  self-study  expected-value  conditional-expectation  geometric-distribution 

Esta pergunta segue em stats.stackexchange.com/q/233658 O modelo de regressão logística para as classes {0, 1} é P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Claramente, essas probabilidades somam 1. Ao definir , também …

8 logistic  neural-networks  multinomial-logit  softmax  identifiability 

Eu tenho um conjunto de dados com 5.818.446 linhas e 51 colunas, onde 50 delas são preditores. Minha resposta é quantitativa, por isso estou interessado em um modelo de regressão. Estou tentando ajustar uma floresta aleatória aos meus dados usando o pacote de intercalação. No entanto, não tenho RAM suficiente …

8 r  random-forest  large-data 

Eu tenho dois preditores em um modelo de regressão logística binária: um binário e um contínuo. Meu objetivo principal é comparar os coeficientes dos dois preditores dentro do mesmo modelo. Encontrei a sugestão de Andrew Gelman para padronizar variáveis ​​de entrada de regressão contínua: I) Proposta original (2008): divida o …

8 regression  logistic  regression-coefficients  standardization  scales 

Se estou interessado nos efeitos causais da mudança de uma variável ( ) em algum resultado ( ), como eu representaria isso em um gráfico acíclico direcionado (DAG)?EEEOOO Suponha que Δ E2= E2- E1ΔE2=E2-E1\Delta E_2 = E_2 - E_1 , onde E1E1E_1 e E2E2E_2 ocorram nos momentos 1 e 2, …

8 time-series  dag 

Como na maioria dos métodos de Monte Carlo, a regra para inicialização é que, quanto maior o número de repetições, menor o erro de Monte Carlo. Mas há retornos decrescentes, portanto, não faz sentido executar o maior número possível de réplicas. Suponha que você deseje garantir que sua estimativa θ^θ^\hat …

8 bootstrap 

Recentemente, tive uma rápida discussão com um amigo experiente que mencionou que os SVMs são o limite de temperatura zero da regressão logística. A lógica envolvia polítopos marginais e dualidade de fenchel. Eu não fui capaz de seguir. Esta afirmação sobre SVMs é o limite de temperatura zero da regressão …

8 logistic  svm  graphical-model  exponential-family  maximum-entropy 

Suponha que tenhamos um modelo de regressão logística: P(y=1|x)log(p1−p)=p=βxP(y=1|x)=plog⁡(p1−p)=βx\begin{align} P(y=1\vert\mathbf{x}) &= p \\ \log\left(\frac{p}{1-p}\right) &= \boldsymbol{\beta}\mathbf{x} \end{align} Dada uma amostra aleatória D={X,y}D={X,y}D=\{\mathbf{X},\mathbf{y}\} de tamanho NNN , podemos calcular intervalos de confiança para o ββ\boldsymbol{\beta} e intervalos de previsão correspondentes para ppp , dado um determinado valor x∗x∗\mathbf{x}^* do vetor preditor. …

8 logistic  binomial  prediction-interval 

Estou trabalhando no seguinte problema: Sejam e variáveis ​​aleatórias independentes com densidade comum que . Seja U = \ min (X, Y) e V = \ max (X, Y) . Localizar a densidade de conjunta de (U, V) e, portanto, encontrar o pdf de u + v .XXXYYYf(x)=αβ−αxα−110&lt;x&lt;βf(x)=αβ−αxα−110&lt;x&lt;βf(x)=\alpha\beta^{-\alpha}x^{\alpha-1}\mathbf1_{0<x<\beta}α⩾1α⩾1\alpha\geqslant1U=min(X,Y)U=min(X,Y)U=\min(X,Y)V=max(X,Y)V=max(X,Y)V=\max(X,Y)(U,V)(U,V)(U,V)U+VU+VU+V Como U+V=X+YU+V=X+YU+V=X+Y …

8 self-study  distributions  mathematical-statistics  random-variable 

Ao pensar em um histograma como uma estimativa da função de densidade, é razoável pensar no tamanho da caixa como um parâmetro que restringe a estrutura local dessa função? Além disso, existe uma maneira melhor de articular esse raciocínio?

8 machine-learning  distributions  regularization  histogram  binning 

Estou vendo como a distância euclidiana mínima esperada entre pontos aleatoriamente uniformes e a origem muda à medida que aumentamos a densidade de pontos aleatórios ( pontos por unidade quadrada ) ao redor da origem. Eu consegui chegar a um relacionamento entre os dois descritos como tal: Distância mínima esperada …

8 r  expected-value  monte-carlo  uniform  minimum 

As águias com marcas de satélite estão desaparecidas na Escócia, e a tabela acima mostra o destino das marcas por modelo. Estou particularmente interessado nas etiquetas "Paradas - sem mau funcionamento", porque é possível que essas aves também estejam sendo mortas e que os corpos e etiquetas estejam sendo descartados. …

8 statistical-significance  categorical-data  missing-data 

A página da Wikipedia sobre R2 diz que pode assumir um valor maior que 1. Eu não vejo como isso é possível.R2R2R^2 Valores de fora do intervalo de 0 a 1 pode ocorrer, onde ele é usado para medir a concordância entre os valores observados e modeladas e em que …

8 regression  r-squared 

Esta é uma pergunta de acompanhamento que tenho depois de revisar este post: Diferença no teste estatístico de médias para dados heterocedásticos não normais? Para ser claro, estou perguntando de uma perspectiva pragmática (para não sugerir que respostas teóricas não sejam bem-vindas). Quando a normalidade entre os grupos está presente …

8 anova  heteroscedasticity  assumptions