Estatísticas e Big Data

A estatística do teste de Durbin-Watson pode estar em uma região inconclusiva, onde não é possível rejeitar ou deixar de rejeitar a hipótese nula (neste caso, de autocorrelação zero). Que outros testes estatísticos podem produzir resultados "inconclusivos"? Existe uma explicação geral (acenar com a mão é bom) por que esse …

10 hypothesis-testing  statistical-significance  decision-theory 

Li num artigo a seguinte frase: O fato de existir uma diferença entre os coeficientes de curto e longo prazo é resultado de nossa especificação, que inclui variáveis ​​endógenas defasadas. Eles executam uma regressão nas primeiras diferenças e incluem um atraso na variável dependente. Agora eles argumentam que, se você …

10 regression  time-series  lags 

Tenho quase certeza de que já vi o seguinte resultado nas estatísticas, mas não me lembro onde. Se for uma variável aleatória positiva e então quando , onde é o CDF de .XXXE(X)&lt;∞E(X)&lt;∞\mathbb{E}(X)<\inftyεF−1(1−ε)→0εF−1(1−ε)→0\varepsilon F^{-1}(1-\varepsilon) \to 0ε→0+ε→0+\varepsilon\to 0^+FFFXXX É fácil ver geometricamente usando a igualdade e considerando um corte horizontal em …

10 references  quantiles  cdf  moments 

Eu tenho os seguintes vetores X e Y simples: &gt; X [1] 1.000 0.063 0.031 0.012 0.005 0.000 &gt; Y [1] 1.000 1.000 1.000 0.961 0.884 0.000 &gt; &gt; plot(X,Y) Quero fazer a regressão usando o log do X. Para evitar o log (0), tento colocar +1 ou +0,1 ou …

10 r  regression  lognormal 

Peço desculpas pelo leve abuso de terminologia; Espero que fique claro o que quero dizer abaixo. Considere uma variável aleatória . Tanto a média quanto a mediana podem ser caracterizadas por um critério de otimalidade: a média é o número que minimiza e a mediana esse número que minimiza . …

10 mean  median 

Na seção 7 do artigo Random Forests (Breiman, 1999), o autor afirma a seguinte conjectura: "Adaboost é uma floresta aleatória". Alguém já provou ou refutou isso? O que foi feito para provar ou refutar este post de 1999?

10 machine-learning  random-forest  boosting 

Então, eu tenho um modelo binário em que é a variável não observada latente e o observado. determina e é, portanto, o meu instrumento. Então, em suma, o modelo é. Como os termos do erro não são independentes, mas y 1 ∈ { 0 , 1 } y 2 y …

10 maximum-likelihood  econometrics  probit 

Imagine uma situação: temos registros históricos (20 anos) de três minas. A presença de prata aumenta a probabilidade de encontrar ouro no próximo ano? Como testar essa pergunta? Aqui estão dados de exemplo: mine_A &lt;- c("silver","rock","gold","gold","gold","gold","gold", "rock","rock","rock","rock","silver","rock","rock", "rock","rock","rock","silver","rock","rock") mine_B &lt;- c("rock","rock","rock","rock","silver","rock","rock", "silver","gold","gold","gold","gold","gold","rock", "silver","rock","rock","rock","rock","rock") mine_C &lt;- c("rock","rock","silver","rock","rock","rock","rock", "rock","silver","rock","rock","rock","rock","silver", "gold","gold","gold","gold","gold","gold") time &lt;- …

10 r  time-series  hypothesis-testing  stochastic-processes 

Entendo que o pré-treinamento é usado para evitar alguns dos problemas do treinamento convencional. Se eu usar a retropropagação com, digamos, um autoencodificador, sei que vou ter problemas de tempo porque a retropropagação é lenta, e também que posso ficar preso no ótimo local e não aprender certos recursos. O …

10 machine-learning  neural-networks  backpropagation  rbm  pre-training 

Eu tenho uma matriz , contendo minhas amostras N = 20 no espaço D = 100- dimensional. Agora desejo codificar minha própria análise de componentes principais (PCA) no Matlab. Eu desprezo X para X_0 primeiro.X N = 20 D = 100 X X 020×10020×10020\times100XXXN=20N=20N=20D=100D=100D=100XXXX0X0X_0 Li no código de alguém que …

10 pca 

Sou analista nas áreas financeira e de seguros e sempre que tento ajustar modelos de volatilidade, obtenho resultados terríveis: os resíduos geralmente são não estacionários (no sentido da raiz da unidade) e heterocedásticos (para que o modelo não explique a volatilidade). Os modelos ARCH / GARCH funcionam com outro tipo …

10 time-series  garch  volatility-forecasting  arch 

Sou iniciante no problema de múltiplas comparações. Gostaria de saber como calcular intervalos de confiança para o método Holm-Bonferroni? Eu sei que, para o método Bonferroni, podemos simplesmente mudar o nível de confiança de para .1−α1−α1-\alpha1−αm1−αm1-\frac{\alpha}{m} Este método também funciona para Holm-Bonferroni? Edit:Edit:\bf{Edit}: Parece que o método HB não fornece …

10 multiple-comparisons  bonferroni 

Estou realizando testes post-hoc em um modelo linear de efeitos mistos em R( lme4pacote). Estou usando o multcomppacote ( glht()função) para executar os testes post-hoc. Meu projeto experimental é de medidas repetidas, com um efeito de bloqueio aleatório. Os modelos são especificados como: mymod &lt;- lmer(variable ~ treatment * time …

10 mixed-model  post-hoc  lsmeans  lme4-nlme 

Como sugerido no título. Suponha que são variáveis ​​aleatórias contínuas de iid com pdf . Considere o evento em que , , portanto é quando a sequência diminui pela primeira vez. Então, qual é o valor de ?X1,X2,…,XnX1,X2,…,XnX_1, X_2, \dotsc, X_nfffX1≤X2…≤XN−1&gt;XNX1≤X2…≤XN−1&gt;XNX_1 \leq X_2 \dotsc \leq X_{N-1} > X_NN≥2N≥2N \geq 2NNNE[N]E[N]E[N] …

10 probability  self-study  iid 

Recentemente, aprendi sobre o maravilhoso PCA e fiz o exemplo descrito na documentação do scikit-learn . Estou interessado em saber como posso aplicar o PCA a novos pontos de dados para fins de classificação. Depois de visualizar o PCA em um plano bidimensional (eixo x, y), vejo que provavelmente posso …

10 classification  pca  scikit-learn