Estatísticas e Big Data

Suponha que desejamos testar a hipótese de que a proporção de marcianos de olhos azuis vem diminuindo ao longo do século XX. Infelizmente, a população marciana flutua muito; portanto, a cada década, há uma grande diferença na população total [atualização: considere a população marciana constante em um bilhão de marcianos. …

8 hypothesis-testing 

Estou usando regressão logística para prever a probabilidade de ocorrência de um evento. Por fim, essas probabilidades são colocadas em um ambiente de produção, onde nos concentramos o máximo possível em atingir nossas previsões de "sim". Portanto, é útil ter uma idéia do que "hits" ou "não hits" definitivos podem …

8 r  logistic  classification  loss-functions  scoring-rules 

O processo de geração de dados é: y=sin(x+I(d=0))+sin(x+4∗I(d=1))+I(d=0)z2+3I(d=1)z2+N(0,1)y=sin(x+I(d=0))+sin(x+4∗I(d=1))+I(d=0)z2+3I(d=1)z2+N(0,1)y = \text{sin}\Big(x+I(d=0)\Big) + \text{sin}\Big(x+4*I(d=1)\Big) + I(d=0)z^2 + 3I(d=1)z^2 + \mathbb{N}\left(0,1\right) Deixe que ser uma sequência de a de comprimento e ser o factor correspondente . Faça todas as combinações possíveis de para calcular : - 4 4 100 d d ∈ { …

8 r  regression  generalized-linear-model  nonparametric  splines 

Esta pergunta está iniciando na seguinte pergunta. /math/360275/e1-1x2-under-a-normal-distribution Basicamente, o que é sob um gaussiano . Tentei reescrever como uma mistura escalar de gaussianos ( ). Isso também parou, a menos que vocês tenham um truque.N(μ,σ2)1E(11+x2)E(11+x2)E\left(\frac{1}{1+x^2}\right)N(μ,σ2)N(μ,σ2)\mathcal{N}(\mu,\sigma^2) ct∫N(x|0,τ-1)Lum(τ|1/2,1/2)dτ11+x211+x2\frac{1}{1+x^2}∝∫N(x|0,τ−1)Ga(τ|1/2,1/2)dτ∝∫N(x|0,τ−1)Ga(τ|1/2,1/2)dτ\propto \int\mathcal{N}(x|0,\tau^{-1})Ga(\tau|1/2,1/2)d\tau Se essa integral não é analítica, há limites sensíveis?

8 normal-distribution  expected-value  bounds 

Eu estou tentando calcular a expectativa para arbitrário (para a expectativa é infinita) se for normalmente distribuído, ou seja, .c &lt; 0 c &gt; 0 X log ( X ) ∼ N ( μ , σ )E[ ec X]E[ecX]E[e^{cX}]c &lt; 0c&lt;0c<0c &gt; 0c&gt;0c>0XXXregistro( X) ∼ N( μ , σ)log⁡(X)∼N(μ,σ)\log(X) \sim …

8 self-study  distributions  expected-value  lognormal  moments 

Estou procurando o valor assintótico ( n → ∞n→∞n\rightarrow \infty ) de (o logaritmo do determinante) da covariância da αα\alpha % de observações com a menor distância euclidiana da origem em uma amostra de tamanho nnn extraída de, digamos, uma bivariada gaussiano padrão. - O hiper-volume de uma elipse é …

8 r  mathematical-statistics  simulation 

Entendo que o PCA é usado para redução de dimensionalidade para poder plotar conjuntos de dados em 2D ou 3D. Mas também vi pessoas aplicando o PCA como uma etapa de pré-processamento nos cenários de classificação em que eles aplicam o PCA para reduzir o número de recursos, depois usam …

8 machine-learning  pca  data-mining  dimensionality-reduction 

Digamos que eu queira saber qual o tamanho da amostra necessário para um experimento em que estou procurando determinar se a diferença nas duas proporções de sucesso é estatisticamente significativa. Aqui está o meu processo atual: Veja os dados históricos para estabelecer previsões de linha de base. Diga que, no …

8 r  hypothesis-testing  statistical-significance  proportion 

O espírito dessa pergunta vem do "Monte Carlo comum", também conhecido como "bom e velho Monte Carlo" Suponha que eu tenha uma variável aleatória , comμ : = E [ X ]XXX μ:=E[X]σ2:=Var[X]μ:=E[X]σ2:=Var[X]\mu := E[X]\\ \sigma^2:=Var[X] Ambos são valores desconhecidos, porque a função de distribuição de probabilidade de é desconhecida …

8 probability  monte-carlo  computational-statistics 

Tenho duas perguntas relacionadas, ambas relacionadas a uma meta-análise que estou realizando, onde os resultados primários são expressos em termos da diferença média padronizada. Meus estudos têm várias variáveis ​​disponíveis para calcular a diferença média padronizada. Gostaria de saber até que ponto as diferenças médias padronizadas calculadas em uma variável …

8 standard-error  meta-analysis  effect-size 

Estou fazendo uma análise de sobrevivência em R com o survivalpacote. Acho que estou trabalhando com dados truncados à esquerda, mas não tenho muita certeza de como lidar com isso. Eu tenho uma coorte de pacientes diagnosticados entre 1990 e 2012. Todos os pacientes têm um tempo de diagnóstico bem …

8 r  survival  cox-model  truncation 

Eu sei que o PDF é a primeira derivada do CDF para uma variável aleatória contínua e a diferença para uma variável aleatória discreta. No entanto, gostaria de saber por que isso ocorre, por que existem dois casos diferentes para discreto e contínuo?

8 mathematical-statistics  pdf  discrete-data  continuous-data  cdf 

Eu li essa afirmação muitas vezes, mas nunca me deparei com uma prova. Eu gostaria de tentar produzir um, mas não tenho certeza de qual notação usar. Alguém pode me ajudar com isso?

8 mathematical-statistics  random-forest  unbiased-estimator  proof 

Eu quero combinar dados de diferentes fontes. Digamos que eu queira estimar uma propriedade química (por exemplo, um coeficiente de particionamento ): Eu tenho alguns dados empíricos, variando devido a erro de medição em torno da média. E, em segundo lugar, eu tenho um modelo que prevê uma estimativa de …

8 r  bayesian  meta-analysis  jags 

Em http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) , afirma Por exemplo, se tivermos um valor p de 0,05 e concluirmos que é significativo, a probabilidade de uma descoberta falsa é, por definição, 0,05. Minha pergunta: sempre achei que a descoberta falsa é um erro do tipo I, que é igual aos níveis de significância escolhidos …

8 hypothesis-testing  statistical-significance  p-value  false-discovery-rate  type-i-and-ii-errors