Estatísticas e Big Data

Ultimamente, tenho lido muito sobre as diferenças entre o método de teste de hipóteses de Fisher e a escola de pensamento Neyman-Pearson. Minha pergunta é, ignorando objeções filosóficas por um momento; quando devemos usar a abordagem de Fisher da modelagem estatística e quando devemos usar o método de Neyman-Pearson de …

73 hypothesis-testing  p-value  methodology 

Inspirado por um comentário desta pergunta : O que consideramos "não informativo" em um prévio - e que informação ainda está contida em um prior supostamente não informativo? Geralmente, vejo o anterior em uma análise em que é uma análise do tipo freqüentista que tenta emprestar algumas partes interessantes da …

73 bayesian  prior 

Eu estou querendo saber como calcular medidas de precisão e recall para classificação de várias etiquetas multiclass, ou seja, classificação onde há mais de dois rótulos e onde cada instância pode ter vários rótulos?

72 machine-learning  classification  precision-recall  multi-class 

No contexto de uma proposta de pesquisa em ciências sociais, me fizeram a seguinte pergunta: Eu sempre fui 100 + m (onde m é o número de preditores) ao determinar o tamanho mínimo da amostra para regressão múltipla. Isso é apropriado? Eu recebo muitas perguntas semelhantes, geralmente com regras diferentes. …

72 regression  sample-size  power-analysis  rule-of-thumb 

Antecedentes : Não tenho treinamento formal em estatística bayesiana (embora eu esteja muito interessado em aprender mais), mas sei o suficiente - acho - para entender o porquê de muitos se sentirem como se fossem preferíveis às estatísticas freqüentistas. Até os graduandos da turma introdutória de estatística (em ciências sociais) …

72 bayesian  frequentist  philosophical 

O tempo de espera para a distribuição de poisson é uma distribuição exponencial com o parâmetro lambda. Mas eu não entendo isso. Poisson modela o número de chegadas por unidade de tempo, por exemplo. Como isso está relacionado à distribuição exponencial? Digamos que a probabilidade de k chegadas em uma …

72 distributions  poisson-distribution  exponential 

Vi em algum lugar que distâncias clássicas (como a distância euclidiana) se tornam fracamente discriminantes quando temos dados multidimensionais e esparsos. Por quê? Você tem um exemplo de dois vetores de dados esparsos em que a distância euclidiana não apresenta bom desempenho? Nesse caso, que semelhança devemos usar?

72 machine-learning  clustering  data-mining  sparse  euclidean 

Quais são as suposições usuais para a regressão linear? Eles incluem: uma relação linear entre a variável independente e dependente erros independentes distribuição normal de erros homoscedasticidade Existem outros?

72 regression  assumptions 

A entropia de Shannon é o negativo da soma das probabilidades de cada resultado multiplicado pelo logaritmo de probabilidades de cada resultado. Que finalidade o logaritmo serve nessa equação? Uma resposta intuitiva ou visual (em oposição a uma resposta profundamente matemática) receberá pontos de bônus!

72 entropy  intuition  sequence-analysis 

Cume estimativa coeficiente de regressão β R são os valores que minimizam oβ^Rβ^R\hat{\beta}^R RSS+λ∑j=1pβ2j.RSS+λ∑j=1pβj2. \text{RSS} + \lambda \sum_{j=1}^p\beta_j^2. Minhas perguntas são: Se λ=0λ=0\lambda = 0 , vemos que a expressão acima se reduz ao RSS usual. E se λ→∞λ→∞\lambda \to \infty ? Não compreendo a explicação do livro didático sobre …

71 ridge-regression  statistical-learning  history 

No curso de aprendizado de máquina de Andrew Ng , ele introduz a regressão linear e a regressão logística e mostra como ajustar os parâmetros do modelo usando a descida do gradiente e o método de Newton. Eu sei que a descida gradiente pode ser útil em algumas aplicações de …

71 regression  machine-learning  logistic  gradient-descent 

Parece que a mineração de dados e o aprendizado de máquina se tornaram tão populares que agora quase todo estudante de CS conhece classificadores, agrupamentos, PNL estatística ... etc. Portanto, parece que encontrar mineradores de dados não é algo difícil hoje em dia. Minha pergunta é: Quais são as habilidades …

71 machine-learning  data-mining 

Como posso remover linhas duplicadas desse quadro de dados de exemplo? A 1 A 1 A 2 B 4 B 1 B 1 C 2 C 2 Gostaria de remover as duplicatas com base nas duas colunas: A 1 A 2 B 4 B 1 C 2 A ordem não …

71 r 

Quais são as pontuações dos componentes principais (pontuações PC, pontuações PCA)?

71 pca  definition 

A pergunta: existem bons exemplos de pesquisas reproduzíveis usando R disponíveis gratuitamente on-line? Exemplo ideal: Especificamente, os exemplos ideais forneceriam: Os dados brutos (e idealmente metadados explicando os dados), Todo o código R, incluindo importação, processamento, análise e geração de dados, Sweave ou alguma outra abordagem para vincular a saída …

71 r  references  reproducible-research