Estatísticas e Big Data

Como todos sabemos, se você joga uma moeda que tem a mesma chance de cair cara, então se você joga a moeda muitas vezes, metade do tempo recebe cara e metade do tempo recebe coroa. Ao discutir isso com um amigo, eles disseram que, se você atirar a moeda 1000 …

28 probability  distributions  sampling 

Estou trabalhando para aprender probabilidades e estatísticas lendo alguns livros e escrevendo algum código e, ao simular lançamentos de moedas, notei algo que me pareceu um pouco contrário à intuição ingênua de alguém. Se você jogar uma moeda justa nnn vezes, a proporção entre cara e coroa converge para 1 …

28 probability  computational-statistics 

Entendo que essa questão é bastante ampla, mas me pergunto quais devem ser os pontos decisivos na decisão de criar (ou não) um novo pacote para R. Para ser mais específico, acrescentaria que a questão não é sobre os motivos para use R em si mesmo, mais sobre a decisão …

28 r  software 

Estou usando o glmnet para calcular estimativas de regressão de crista. Eu obtive alguns resultados que me fizeram suspeitar que o glmnet está realmente fazendo o que eu acho que ele faz. Para verificar isso, escrevi um script R simples, onde comparo o resultado da regressão de cume feita por …

28 r  ridge-regression  glmnet 

Qual é a diferença entre os algoritmos EM (Maximização de Expectativas) e Subida de Gradiente (ou descida)? Existe alguma condição sob a qual eles são equivalentes?

28 gradient-descent  expectation-maximization 

Considere amostras independentes S obtidas de uma variável aleatória X que se supõe seguir uma distribuição truncada (por exemplo, uma distribuição normal truncada ) de valores mínimos e máximos conhecidos (finitos) a e b, mas com parâmetros desconhecidos μ e σ 2 . Se X seguido uma distribuição não-truncada, os …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Ouvi falar da probabilidade empírica de Owen, mas até recentemente não prestava atenção até que me deparei com isso em um artigo de interesse ( Mengersen et al. 2012 ). Em meus esforços para entendê-lo, observei que a probabilidade dos dados observados é representada como , onde e .L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L = …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Eu sou um estudante de graduação desenvolvendo um interesse por estatística. Gosto muito do material, mas às vezes tenho dificuldade em pensar em aplicações para a vida real. Especificamente, minha pergunta é sobre distribuições estatísticas comumente usadas (normal - beta-gama etc.). Acho que, em alguns casos, recebo as propriedades particulares …

28 normal-distribution  references  gamma-distribution  beta-distribution  application 

Estou trabalhando com duas distribuições normais independentes e , com médias e e variações e .XXXYYYμxμx\mu_xμyμy\mu_yσ2xσx2\sigma^2_xσ2yσy2\sigma^2_y Eu sou interessado na distribuição do seu rácio . Nem nem têm uma média de zero, então não é distribuído como um Cauchy.Z=X/YZ=X/YZ=X/YXXXYYYZZZ Preciso encontrar o CDF de e, em seguida, obter a derivada …

28 distributions  normal-distribution  references  mathematical-statistics  cdf 

Espero que todos não se importem com essa pergunta, mas preciso de ajuda para interpretar a saída de um modelo linear de efeitos mistos que tenho tentado aprender na R. Sou novo na análise de dados longitudinal e na regressão linear de efeitos mistos. Eu tenho um modelo que me …

28 r  mixed-model  interpretation  panel-data 

E se você pegar uma amostra aleatória e puder ver que ela claramente não é representativa, como em uma pergunta recente . Por exemplo, e se a distribuição da população for simétrica em torno de 0 e a amostra que você desenhar aleatoriamente tiver observações positivas e negativas desequilibradas, e …

28 sampling  experiment-design  inference  sample 

Eu me interessei por estatística, mas devo admitir que já faz muito tempo que não uso matemática seriamente. Às vezes entendo o que equações significam, mas às vezes não consigo segui-las. Eu gosto da resposta dada aqui que usa a imagem com uma seta: Compreensão conceitual do erro quadrático médio …

28 references 

Como exemplo, considere o ChickWeightconjunto de dados em R. A variação obviamente aumenta com o tempo, portanto, se eu usar uma regressão linear simples como: m <- lm(weight ~ Time*Diet, data=ChickWeight) Minhas perguntas: Quais aspectos do modelo serão questionáveis? Os problemas estão limitados à extrapolação fora do Timeintervalo? Quão tolerante …

28 r  regression  heteroscedasticity  assumptions 

Veja também uma pergunta semelhante em stats.SE . Ao impulsionar algoritmos como AdaBoost e LPBoost , sabe-se que os alunos "fracos" a serem combinados só precisam ter um desempenho melhor do que o acaso para serem úteis, da Wikipedia: Os classificadores que ele usa podem ser fracos (ou seja, exibem …

28 machine-learning  theory  boosting 

Estou investigando um método para verificação automática dos métodos Monte Carlo da cadeia de Markov e gostaria de alguns exemplos de erros que podem ocorrer ao construir ou implementar esses algoritmos. Pontos de bônus se o método incorreto foi usado em um artigo publicado. Estou particularmente interessado nos casos em …

28 mcmc