Estatísticas e Big Data

Não sou de forma alguma um estatístico (eu tive um curso de estatística matemática, mas nada além disso) e, recentemente, enquanto estudava teoria da informação e mecânica estatística, conheci uma coisa chamada "medida de incerteza" / "entropia". Eu li a derivação de Khinchin como uma medida de incerteza e isso …

21 entropy  inference 

Para agrupar documentos (texto), você precisa de uma maneira de medir a semelhança entre pares de documentos. Duas alternativas são: Compare documentos como vetores de termos usando Cosine Similarity - e TF / IDF como os pesos dos termos. Compare a distribuição de probabilidade de cada documento usando a divergência …

21 information-retrieval 

Quero entender completamente a noção de r2r2r^2 descrevendo a quantidade de variação entre variáveis. Toda explicação na web é um pouco mecânica e obtusa. Eu quero "entender" o conceito, não apenas usar mecanicamente os números. Por exemplo: Horas estudadas versus pontuação no teste rrr = 0,8 r2r2r^2 = 0,64 Então …

21 regression  correlation  variance 

Aqui, dê uma olhada: Você pode ver exatamente onde os dados de treinamento terminam. Os dados de treinamento vão de a 1 .−1−1-1111 Usei Keras e uma rede densa 1-100-100-2 com ativação tanh. Calculo o resultado de dois valores, peq como p / q. Dessa forma, posso obter qualquer tamanho …

21 regression  neural-networks  python  keras 

Eu queria saber se seria possível gerar variáveis ​​binomiais aleatórias correlacionadas seguindo uma abordagem de transformação linear? Abaixo, tentei algo simples em R e isso produz alguma correlação. Mas eu queria saber se existe uma maneira de fazer isso com princípios? X1 = rbinom(1e4, 6, .5) ; X2 = rbinom(1e4, …

21 r  correlation  binomial  random-generation  bernoulli-distribution 

Digamos que eu tenho um modelo que me fornece valores projetados. Eu calculo o RMSE desses valores. E então o desvio padrão dos valores reais. Faz algum sentido comparar esses dois valores (variações)? O que eu acho é que, se o RMSE e o desvio padrão forem semelhantes / iguais, …

21 standard-deviation  standard-error  rms 

Eu tenho lido sobre a validação do k-fold e quero ter certeza de que entendi como isso funciona. Eu sei que, para o método de validação, os dados são divididos em três conjuntos, e o conjunto de teste é usado apenas no final para avaliar o desempenho do modelo, enquanto …

21 cross-validation  validation  out-of-sample 

Qual é a maneira correta mais teórica da informação / física para calcular a entropia de uma imagem? Não me preocupo com a eficiência computacional agora - quero teoricamente o mais correto possível. Vamos começar com uma imagem em escala de cinza. Uma abordagem intuitiva é considerar a imagem como …

21 spatial  entropy  image-processing 

Com os pacotes Stan e frontend, rstanarmou brmsposso analisar facilmente os dados da maneira bayesiana, como fiz antes com modelos mistos como lme. Embora eu tenha a maioria dos livros e artigos de Kruschke-Gelman-Wagenmakers-etc em minha mesa, eles não me dizem como resumir os resultados para uma audiência médica, divididos …

21 statistical-significance  bayesian  stan  credible-interval  medicine 

Considere o modelo padrão para regressão múltipla onde , para que normalidade, homoscedasticidade e não correlação de erros sejam .ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2Eun)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Suponha que realizamos uma regressão de crista, adicionando a …

21 regression  assumptions  ridge-regression 

Eu tenho um grande conjunto de vetores de recursos que utilizarei para atacar um problema de classificação binária (usando o scikit learn em Python). Antes de começar a pensar em imputação, estou interessado em tentar determinar a partir das partes restantes dos dados se os dados ausentes estão "ausentes aleatoriamente" …

21 missing-data  randomness 

Eu tenho duas funções de densidade de probabilidade de distribuições normais: f1( x1|μ1, σ1) = 1σ12 π--√e- ( x - μ1)22 σ21f1(x1|μ1,σ1)=1σ12πe−(x−μ1)22σ12f_1(x_1 \; | \; \mu_1, \sigma_1) = \frac{1}{\sigma_1\sqrt{2\pi} } \; e^{ -\frac{(x-\mu_1)^2}{2\sigma_1^2} } e f2( x2|μ2, σ2) =1σ22π--√e- ( x -μ2)22σ22f2(x2|μ2,σ2)=1σ22πe−(x−μ2)22σ22f_2(x_2 \; | \; \mu_2, \sigma_2) = \frac{1}{\sigma_2\sqrt{2\pi} } …

21 distributions  normal-distribution  distance 

Não entendo por que a variável aleatória "binomial negativo" tem esse nome. O que é negativo nisso? O que é binomial nisso? O que é binomial negativo sobre isso?

21 distributions  random-variable  terminology  negative-binomial 

Fiz uma validação cruzada de 10 vezes em diferentes algoritmos de classificação binária, com o mesmo conjunto de dados e recebi os resultados médios de Micro e Macro. Deve-se mencionar que esse era um problema de classificação de vários rótulos. No meu caso, verdadeiros negativos e verdadeiros positivos são igualmente …

21 machine-learning  cross-validation 

Como o método de inversão funciona? Digamos que eu tenha uma amostra aleatória com densidade acima de e, por conseguinte, com CDF em . Então, pelo método de inversão, recebo a distribuição de como . f ( x ; θ ) = 1X1,X2,...,XnX1,X2,...,XnX_1,X_2,...,X_n 0<x<1FX(x)=x1/θ(0,1)XF - 1 X(u)=uθf(x;θ)=1θx(1−θ)θf(x;θ)=1θx(1−θ)θf(x;\theta)={1\over \theta} x^{(1-\theta)\over \theta} …

21 r  distributions  inference  random-generation  inverse-cdf