Estatísticas e Big Data

É possível ter um conjunto de variáveis não correlacionadas, mas linearmente dependentes?KKK ie e∑ K i = 1 a i x i = 0c o r ( xEu, xj) = 0cor(xi,xj)=0cor(x_i, x_j)=0∑Ki = 1umaEuxEu= 0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 Se sim, você pode escrever um exemplo? EDIT: Das respostas, segue-se que não …

9 correlation  mathematical-statistics  multicollinearity 

Li em um livro de aprendizado de máquina que parâmetros de regressão linear podem ser estimados (entre outros métodos) por descida de gradiente, enquanto parâmetros de regressão logística são geralmente estimados por estimativa de probabilidade máxima. É possível explicar a um iniciante (eu) por que precisamos de métodos diferentes para …

9 regression  logistic  maximum-likelihood 

Esta pergunta pergunta sobre a probabilidade de sucesso em um RPG. No entanto, a pergunta e suas respostas não cobrem algumas das complexidades da mecânica dos dados. Em particular, ele não cobre falhas (um resultado possível). Um jogador tem um conjunto de dados, com base em algum mecânico no jogo …

9 dice 

No presente documento , ( Bayesiana Inference para Variância Componentes Usando único erro Contraste , Harville, 1974), o autor afirma ( y- Xβ)′H- 1( y- Xβ) = ( y- Xβ^)′H- 1( y- Xβ^) + ( β- β^)′( X′H- 1X) ( β- β^)(y−Xβ)′H−1(y−Xβ)=(y−Xβ^)′H−1(y−Xβ^)+(β−β^)′(X′H−1X)(β−β^)(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta) para ser uma "relação bem conhecido", para uma …

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

Um fator Bayes é definido no teste bayesiano de hipóteses e na seleção do modelo bayesiano pela razão de duas probabilidades marginais: dada uma amostra iid e respectivas densidades amostrais e , com as anteriores correspondentes e , o fator Bayes para comparar os dois modelos é Um livro que …

9 bayes  marginal  sequential-analysis  bayes-factors 

Considere uma distribuição duas vezes diferenciável e simétrica . Agora considere uma segunda distribuição diferenciável rigth enviesada no sentido de que:FXFX\mathcal{F}_XFZFZ\mathcal{F}_Z (1)FX⪯cFZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. onde é a ordem convexa de van Zwet [0] para que seja equivalente a:⪯c⪯c\preceq_c(1)(1)(1) (2)F−1ZFX(x) is convex ∀x∈R.(2)FZ−1FX(x) is convex ∀x∈R.(2)\quad F^{-1}_ZF_X(x)\text{ is convex $\forall x\in\mathbb{R}.$} Considere agora …

9 distributions  skewness 

Eu tenho um conjunto de dados de mais de 1000 amostras de 19 variáveis. Meu objetivo é prever uma variável binária com base nas outras 18 variáveis ​​(binárias e contínuas). Estou bastante confiante de que seis das variáveis ​​de previsão estão associadas à resposta binária, no entanto, gostaria de analisar …

9 pca 

Eu tenho tentado estabelecer a desigualdade |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} onde é a média da amostra e o desvio padrão da amostra, que é .X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} É fácil ver que e assim mas isso não está muito próximo do que eu estava procurando, nem é …

9 self-study  descriptive-statistics  bounds 

Eu tenho dados mensais de 1993 a 2015 e gostaria de fazer previsões sobre esses dados. Usei o pacote tsoutliers para detectar os outliers, mas não sei como continuo prevendo com meu conjunto de dados. Este é o meu código: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) Esta é a minha saída do pacote tsoutliers …

9 r  time-series  forecasting  arima  outliers 

Estou usando o lmer no R para verificar o efeito da condição ( cond) em algum resultado. Aqui estão alguns dados compostos, onde s é o identificador de sujeito e a, be csão condições. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = …

9 r  lme4-nlme  contrasts 

Eu tenho (~ um milhão) vetores de recursos. Existem (~ um milhão) recursos binários, mas em cada vetor apenas (~ mil) deles seria , o restante é . Estou procurando os pares de vetores que possuem pelo menos (~ cem) recursos em comum ( em ambos). O número de tais …

9 algorithms  high-dimensional 

No meu livro econométrico (Econometria Introdutória), que trata do OLS, o autor escreve: "O SSR deve cair quando outra variável explicativa é adicionada". Por que é isso?

9 regression  optimization  econometrics  intuition  sums-of-squares 

Observei que Caffe (uma estrutura de aprendizado profundo) usava a Softmax Loss Layer SoftmaxWithLoss como camada de saída para a maioria das amostras do modelo . Até onde eu sei, a camada Softmax Loss é a combinação de Camada Multinomial de Perda Logística e Camada Softmax . De Caffe, eles …

9 multinomial  entropy  sums-of-squares  softmax 

Problema Eu gostaria de fazer alguma inferência em um sistema análogo para morrer com um número desconhecido de lados. O dado é rolado várias vezes, após o qual eu gostaria de inferir uma distribuição de probabilidade sobre um parâmetro correspondente ao número de lados do dado, θ. Intuição Se, após …

9 r  probability  bayesian  jags 

Meu livro lista o idf como em quelog(1+Nnt)log(1+Nnt)log(1+\frac{N}{n_t}) NNN : Número de documentos ntntn_t : Número de documentos que contêm o termottt A Wikipedia lista essa fórmula como uma versão real . Aquele que eu entendo: varia de a que parece intuitivo. Mas passa de para que parece tão estranho …

9 text-mining  natural-language  smoothing