Estatísticas e Big Data

Estou lendo um livro sobre regressão linear e tenho alguns problemas para entender a matriz de variância-covariância de bb\mathbf{b} : Os itens diagonais são fáceis, mas os fora da diagonal são um pouco mais difíceis, o que me intriga é que σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1 \sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = …

36 regression 

Recentemente, deparei com o artigo "A Insignificância do Teste de Significância de Hipótese Nula", Jeff Gill (1999) . O autor levantou algumas concepções errôneas comuns sobre testes de hipóteses e valores de p, sobre os quais tenho duas perguntas específicas: O valor p é tecnicamente , que, como apontado pelo …

36 hypothesis-testing  p-value 

Quero usar a regressão Lasso ou cume para um modelo com mais de 50.000 variáveis. Quero fazê-lo usando o pacote de software em R. Como posso estimar o parâmetro de encolhimento ( )?λλ\lambda Edições: Aqui está o ponto que eu cheguei: set.seed (123) Y <- runif (1000) Xv <- sample(c(1,0), …

36 r  lasso  ridge-regression  high-dimensional 

Recentemente, aprendi sobre um princípio do raciocínio probabilístico chamado " explicação " e estou tentando entender uma intuição para isso. Deixe-me montar um cenário. Seja o evento de um terremoto. Seja o evento o evento que o gigante verde alegre passeia pela cidade. Seja o evento que o chão está …

36 probability  intuition 

Neste artigo atual da CIÊNCIA, o seguinte está sendo proposto: Suponha que você divida aleatoriamente 500 milhões de renda entre 10.000 pessoas. Só existe uma maneira de oferecer a todos 50.000 partes iguais. Portanto, se você distribuir ganhos aleatoriamente, a igualdade é extremamente improvável. Mas existem inúmeras maneiras de dar …

36 distributions  mathematical-statistics  exponential 

plot(density(rexp(100)) Obviamente, toda a densidade à esquerda de zero representa viés. Estou procurando resumir alguns dados para não estatísticos e quero evitar perguntas sobre por que os dados não negativos têm densidade à esquerda de zero. Os gráficos são para verificação aleatória; Quero mostrar as distribuições de variáveis ​​por grupos …

36 r  pdf  gamma-distribution  kernel-smoothing 

É temporada de admissão para escolas de pós-graduação. Agora eu (e muitos estudantes como eu) estamos tentando decidir qual programa de estatística escolher. Quais são algumas das coisas que aqueles que trabalham com estatísticas sugerem que consideremos os programas de mestrado em estatística? Existem armadilhas ou erros comuns que os …

36 machine-learning  mathematical-statistics  careers 

Tenho uma pequena lista de empresas que fornecem uma plataforma para a execução de scripts R, python ou oitava em clusters criados com base no Amazon EC2. Existem outros nomes que devo adicionar? Cloudnumbers Opani crdata

36 r  machine-learning 

Uma versão muito simples do teorema limitado central, como abaixo que é o CLT de Lindeberg – Lévy. Não entendo por que existe um no lado esquerdo. E o Lyapunov CLT diz mas por que não \ sqrt {s_n} ? Alguém me diria quais são esses fatores, como \ sqrt …

36 central-limit-theorem  intuition 

Eu estou procurando treinar um classificador que discrimine Type Ae Type Bobjetos com um conjunto de treinamento razoavelmente grande de aproximadamente 10.000 objetos, aproximadamente metade dos quais são Type Ae metade deles Type B. O conjunto de dados consiste em 100 recursos contínuos detalhando as propriedades físicas das células (tamanho, …

36 r  machine-learning  random-forest 

Se XXX é distribuído N(μX,σ2X)N(μX,σX2)N(\mu_X, \sigma^2_X) , YYY é distribuído N(μY,σ2Y)N(μY,σY2)N(\mu_Y, \sigma^2_Y) e Z=X+YZ=X+YZ = X + Y , eu sei que ZZZ é distribuído N(μX+μY,σ2X+σ2Y)N(μX+μY,σX2+σY2)N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) se X e Y forem independentes. Mas o que aconteceria se X e Y não fossem independentes, ou seja, …

36 normal-distribution  mathematical-statistics 

Pesquisei muitos sites para saber exatamente o que o elevador fará? Os resultados que encontrei foram sobre o uso em aplicativos e não em si. Eu sei sobre a função de suporte e confiança. Na Wikipedia, na mineração de dados, o lift é uma medida do desempenho de um modelo …

36 data-mining 

Eu gostaria de medir o tempo que leva para repetir a execução de uma função. São replicate()e usando loops for equivalentes? Por exemplo: system.time(replicate(1000, f())); system.time(for(i in 1:1000){f()}); Qual é o método preferido? Na saída de system.time(), é sys+usero tempo real da CPU para executar o programa? É elapseduma boa …

36 r 

Eu vejo uma regressão restrita semelhante aqui: Regressão linear restrita através de um ponto especificado mas minha exigência é um pouco diferente. Preciso que os coeficientes totalizem até 1. Especificamente, estou regredindo os retornos de 1 série de câmbio contra 3 outras séries de câmbio, para que os investidores possam …

36 r  regression 

Sob quais condições alguém deve considerar o uso de análise multinível / hierárquica em oposição a análises mais básicas / tradicionais (por exemplo, ANOVA, regressão OLS, etc.)? Existem situações em que isso possa ser considerado obrigatório? Existem situações em que o uso de análise multinível / hierárquica é inadequado? Finalmente, …

36 mixed-model  multilevel-analysis