Estatísticas e Big Data

Enquanto estudava no meu curso de estatísticas, eu estava tentando entender a diferença entre testes de hipótese uni e bicaudal. Especificamente, por que o teste de uma cauda rejeita o nulo, enquanto o teste de duas caudas não? Um exemplo:

13 hypothesis-testing 

Estou jogando com um randomForest e descobri que geralmente aumentar o sampSize leva a um melhor desempenho. Existe uma regra / fórmula / etc que sugere qual deve ser o sampSize ideal ou é uma tentativa e erro? Eu acho que outra maneira de expressar isso; Quais são os meus …

13 r  random-forest 

Eu tenho trabalhado bastante na amostragem de importância durante o ano passado e tenho algumas perguntas em aberto com as quais esperava obter ajuda. Minha experiência prática com esquemas de amostragem de importância é que eles ocasionalmente podem produzir estimativas fantásticas de baixa variância e viés baixo. Mais frequentemente, no …

13 monte-carlo  information-theory  importance-sampling 

Eu tenho um conjunto de dados contendo várias proporções que somam 1. Estou interessado na alteração dessas proporções ao longo de um gradiente (veja abaixo, por exemplo, dados). gradient <- 1:99 A1 <- gradient * 0.005 A2 <- gradient * 0.004 A3 <- 1 - (A1 + A2) df <- …

13 r  multinomial 

Alguém pode me explicar os benefícios do algoritmo genético em comparação com outros métodos tradicionais de pesquisa e otimização?

13 genetic-algorithms 

Eu tive esses dois explicados várias vezes. Eles continuam a cozinhar meu cérebro. Faltar não ao acaso faz sentido, e Faltar completamente ao acaso faz sentido ... é o Desaparecimento ao acaso que não faz tanto. O que gera dados que seriam MAR, mas não MCAR?

13 missing-data 

O processo AR (1) como yt=ρyt−1+εtyt=ρyt−1+εty_t=\rho y_{t-1}+\varepsilon_t um processo de Markov? Se for, então VAR (1) é a versão vetorial do processo de Markov?

13 time-series 

Alguém pode me explicar meu modelo de Cox em inglês simples? Eu ajustei o seguinte modelo de regressão de Cox em todos os meus dados usando a cphfunção Meus dados são salvos em um objeto chamado Data. As variáveis w, xe ysão contínuos; zé um fator de dois níveis. O …

13 r  cross-validation  survival  cox-model 

Eu tenho 6 variáveis ​​( ) que estou usando para prever . Ao realizar minha análise de dados, tentei primeiro uma regressão linear múltipla. A partir disso, apenas duas variáveis ​​foram significativas. No entanto, quando eu executei uma regressão linear comparando cada variável individualmente com , todas, exceto uma, foram …

13 multiple-regression  multicollinearity  vif 

Parece haver muitos algoritmos de aprendizado de máquina que dependem das funções do kernel. SVMs e NNs, para citar apenas dois. Então, qual é a definição de uma função do kernel e quais são os requisitos para que ela seja válida?

13 svm  terminology  kernel-trick 

As redes neurais pulsadas ou Spiking incorporam mais a dinâmica da membrana dos neurônios biológicos, onde os pulsos transportam informações para a próxima camada. Os neurônios não precisam necessariamente "disparar" todos ao mesmo tempo, como faria em um backprop, por exemplo. No entanto, parece haver barreiras contra o emprego desses …

13 neural-networks 

Ao fazer o processamento da linguagem natural, pode-se pegar um corpus e avaliar a probabilidade da próxima palavra ocorrer em uma sequência de n. n é geralmente escolhido como 2 ou 3 (bigrams e trigramas). Existe um ponto conhecido em que o rastreamento dos dados para a enésima cadeia se …

13 text-mining  natural-language 

Citando um artigo da Wikipedia sobre estimativa de parâmetros para um classificador ingênuo de Bayes : "uma suposição típica é que os valores contínuos associados a cada classe sejam distribuídos de acordo com uma distribuição gaussiana". Entendo que uma distribuição gaussiana é conveniente por razões analíticas. No entanto, existe alguma …

13 normal-distribution 

Eu entendo derivar uma matriz de covariância dos dados filogenéticos para fazer para duas variáveis que você está fazendo uma regressão diante. Mas o que acontece se você tiver uma variável contínua que anteriormente demonstrou ser dependente da filogenia e uma variável ordinal? Sendo este último ordinal, não tenho certeza …

13 anova  phylogeny 

"Qual o tamanho de uma turma para ter pelo menos 50% de probabilidade de encontrar duas pessoas com o mesmo aniversário?" Eu tenho 360 amigos no facebook e, como esperado, a distribuição de seus aniversários não é uniforme. Eu tenho um dia com 9 amigos com o mesmo aniversário. (9 …

13 probability  birthday-paradox