Estatísticas e Big Data

Atualmente, estou ajustando florestas aleatórias para um problema de classificação usando o randomForestpacote em R e não tenho certeza sobre como relatar erros de treinamento para esses modelos. Meu erro de treinamento é próximo de 0% quando o computo usando as previsões que recebo com o comando: predict(model, data=X_train) Onde …

15 r  machine-learning  classification  random-forest  overfitting 

Estou tentando entender a intuição por trás dos SVMs do kernel. Agora, entendo como o SVM é linear, pelo qual é feita uma linha de decisão que divide os dados da melhor maneira possível. Também entendo o princípio por trás da transferência de dados para um espaço de maior dimensão …

15 machine-learning  svm  kernel-trick 

Nota: desculpe-me antecipadamente se for uma duplicata, não encontrei um q semelhante na minha pesquisa Digamos que temos um parâmetro verdadeiro p. Um intervalo de confiança C (X) é um VR que contém p, digamos, 95% das vezes. Agora, suponha que observemos X e calculemos C (X). A resposta comum …

15 probability  confidence-interval 

Existe uma maneira de determinar se uma diferença entre uma contagem de acidentes de viação no tempo 1 é significativamente diferente de uma contagem no tempo 2? Encontrei métodos diferentes para determinar a diferença entre grupos de observações em momentos diferentes (por exemplo, comparar médias de Poisson), mas não para …

15 statistical-significance  count-data 

Estou fazendo uma apresentação sobre linhas de montagem. Eu tenho uma função linear simples, . Estou tentando obter pontos de dados dispersos que posso colocar em um gráfico de dispersão que manterá minha linha de melhor ajuste na mesma equação.y=1x+by=1x+by=1x+b Eu adoraria aprender essa técnica no R ou no Excel …

15 r  regression  least-squares  excel 

Na teoria das probabilidades, uma variável aleatória não negativa é chamada de treliça se existir tal que .d ≥ 0 Σ ∞ n = 0 P ( X = N d ) = 1XXXd≥0d≥0d \geq 0∑∞n=0P(X=nd)=1∑n=0∞P(X=nd)=1\sum_{n=0}^{\infty}P(X=nd) = 1 Existe uma interpretação geométrica para o motivo pelo qual essa definição é …

15 probability 

Eu tenho uma pergunta específica sobre validação na pesquisa de aprendizado de máquina. Como sabemos, o regime de aprendizado de máquina solicita que os pesquisadores treinem seus modelos nos dados de treinamento, escolha modelos candidatos por conjunto de validação e relate a precisão no conjunto de testes. Em um estudo …

15 machine-learning  cross-validation  reproducible-research 

Existe realmente alguma diferença entre o canivete e deixar uma validação cruzada? O procedimento parece idêntico. Estou perdendo alguma coisa?

15 cross-validation  jackknife 

Eu tenho um conjunto de dados com 11 variáveis ​​e PCA (ortogonal) foi feito para reduzir os dados. Decidir sobre o número de componentes para mantê-lo ficou evidente para mim pelo meu conhecimento sobre o assunto e o gráfico de seixos (veja abaixo) que dois componentes principais (PCs) eram suficientes …

15 variance  pca 

Eu tenho lido muito sobre redes neurais convolutivas e queria saber como elas evitam o problema de gradiente que desaparece. Sei que redes de crenças profundas empilham codificadores automáticos de nível único ou outras redes rasas pré-treinadas e, portanto, podem evitar esse problema, mas não sei como é evitado nas …

15 machine-learning  optimization  deep-learning  gradient-descent 

Realizei um CV 5 vezes para selecionar o K ideal para o KNN. E parece que quanto maior o K fica, menor o erro ... Desculpe por não ter uma lenda, mas as cores diferentes representam tentativas diferentes. Existem 5 no total e parece que há pouca variação entre eles. …

15 model-selection  k-nearest-neighbour 

O procedimento do teste t SPSS relata 2 análises ao comparar duas médias independentes, uma análise com variâncias iguais assumidas e outra com variâncias iguais não assumidas. Os graus de liberdade (df) quando pressões iguais são assumidas são sempre valores inteiros (e iguais n-2). O df quando variações diferentes não …

15 hypothesis-testing  t-test  heteroscedasticity  degrees-of-freedom  t-distribution 

Dada uma matriz , a fatoração de matriz não negativa (NMF) encontra duas matrizes não negativas e ( ou seja, com todos os elementos ) para representar a matriz decomposta como:W m × k H k × n ≥0Vm×nVm×n\mathbf V^{m \times n}Wm×kWm×k\mathbf W^{m \times k}Hk×nHk×n\mathbf H^{k \times n}≥0≥0\ge 0 V≈WH,V≈WH,\mathbf …

15 cross-validation  unsupervised-learning  latent-variable  matrix-decomposition  nnmf 

Estou tentando entender os modelos de fatoração matricial para sistemas de recomendação e sempre leio 'recursos latentes', mas o que isso significa? Sei o que significa um recurso para um conjunto de dados de treinamento, mas não consigo entender a idéia de recursos latentes. Todo artigo sobre o assunto que …

15 machine-learning  data-mining  recommender-system 

Estou usando o KL Divergence como uma medida de dissimilaridade entre 2 e .p . m . f.p.m.f.p.m.f. QPPPQQQ =-ΣP(Xi)ln(Q(Xi))+ΣP(Xi)ln(P(Xi))DKeu( P| | Q)= ∑i = 1Nem( PEuQEu) PEuDKeu(P||Q)=∑Eu=1Nem⁡(PEuQEu)PEuD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i = - ∑ P( XEu) l n( Q ( XEu) ) + ∑ P( XEu) …

15 distributions  distance  kullback-leibler