Estatísticas e Big Data

Eu estava pensando, já que são de N ( 0 , 1 ) e são independentes, entãoX, YX,YX, YN( 0 , 1 )N(0,1)N(0,1) tem uma distribuição de N ( 0 , 5 ) . Então X - 2 Y > 0 tem probabilidade de 1 / 2 .X- 2 YX−2YX …

9 probability  normal-distribution 

É sabido que uma combinação linear de 2 variáveis ​​normais aleatórias também é uma variável normal aleatória. Existem famílias de distribuição não normais comuns (por exemplo, Weibull) que também compartilham essa propriedade? Parece haver muitos contra-exemplos. Por exemplo, uma combinação linear de uniformes não é tipicamente uniforme. Em particular, existem …

9 distributions  linear 

Então, por diversão, estou pegando alguns dados das chamadas do call center em que trabalho e tentando fazer alguns testes de hipóteses, especificamente o número de chamadas recebidas em uma semana, e usando uma distribuição Poisson para ajustá-las. Devido ao assunto do meu trabalho, existem dois tipos de semanas, vamos …

9 hypothesis-testing  poisson-distribution 

Apenas por diversão, quero traçar meu consumo mensal de energia doméstica ano após ano. No entanto, desejo incluir alguma referência à temperatura mensal, para que eu possa determinar se minha casa ou comportamento está melhorando, piorando ou mantendo-se estável em relação ao uso de kWh. Os dados com os quais …

9 data-visualization 

Às vezes assumimos que os regressores são fixos, ou seja, não são estocásticos. Eu acho que isso significa que todos os nossos preditores, estimativas de parâmetros etc. são incondicionais, certo? Posso ir tão longe que eles não são mais variáveis ​​aleatórias? Se, por outro lado, aceitarmos que a maioria dos …

9 regression  inference  philosophical  conditioning  ancillary-statistics 

Um dado de 6 lados é rolado iterativamente. Qual é o número esperado de jogadas necessárias para fazer uma soma maior ou igual a K? Antes da edição P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in …

9 self-study  mean  expected-value  dice  saddlepoint-approximation 

Estou conduzindo uma análise em que o objetivo principal é entender os dados. O conjunto de dados é grande o suficiente para validação cruzada (10k), e os preditores incluem variáveis ​​contínuas e simuladas, e o resultado é contínuo. O objetivo principal era verificar se faz sentido expulsar alguns preditores, a …

9 lasso  explanatory-models 

Estou tentando entender a saída da análise de componentes principais executada da seguinte maneira: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 …

9 r  pca  interpretation 

Eu sei que o OLS é imparcial, mas não eficiente sob heterocedasticidade em um cenário de regressão linear. Na Wikipedia http://en.wikipedia.org/wiki/Minimum_mean_square_error O estimador MMSE é assintoticamente imparcial e converge na distribuição para a distribuição normal: , onde I (x) é a informação de Fisher de x. Assim, o estimador MMSE …

9 least-squares  heteroscedasticity  efficiency 

Em um comentário aqui , @gung escreveu, Acredito que eles possam se sobrepor um pouco (talvez ~ 25%) e ainda serem significativos no nível de 5%. Lembre-se de que o IC 95% que você vê é para o OR individual, mas o teste de 2 ORs é sobre a diferença …

9 logistic  confidence-interval  odds-ratio  references 

Atualmente, estou aprendendo modelos bayesianos hierárquicos usando JAGS de R e também pymc usando Python ( "Métodos Bayesianos para Hackers" ). Posso obter alguma intuição neste post : "você terminará com uma pilha de números que parece" como se "você tivesse conseguido, de alguma maneira, colher amostras independentes da complicada …

9 bayesian  mcmc  expectation-maximization 

Provavelmente tenho uma pergunta boba sobre a qual, devo confessar, estou confusa. Imagine a geração repetida de matriz ortogonal (ortonormal) aleatória uniformemente distribuída de algum tamanho . Às vezes, a matriz gerada possui o determinante e, às vezes, o determinante . (Existem apenas dois valores possíveis. Do ponto de vista …

9 mathematical-statistics  matrix  random-generation  rotation  determinant 

Estou estudando o modelo Gaussian Mixture e me proponho a essa pergunta. Suponha que os dados subjacentes sejam gerados a partir de uma mistura de distribuição Gaussiana e cada um deles tenha um vetor médio μ k ∈ R p , onde 1 ≤ k ≤ K e cada um …

9 self-study  expectation-maximization  gaussian-mixture  consistency 

Vou ensinar estatística como assistente de ensino no segundo semestre deste semestre a estudantes de graduação orientados para o ensino médio. A maioria dos alunos que frequentou a aula não tem incentivo para aprender a matéria e a levou apenas para os principais requisitos. Quero tornar o assunto interessante e …

9 hypothesis-testing  confidence-interval  teaching 

Tento prever uma pontuação de equilíbrio e tentei vários métodos de regressão diferentes. Uma coisa que notei é que os valores previstos parecem ter algum tipo de limite superior. Ou seja, o saldo real está em , mas minhas previsões atingem cerca de . O gráfico a seguir mostra o …

9 regression  distributions  data-transformation  prediction  bounds