Estatísticas e Big Data

Qual é a diferença entre aprendizado múltiplo e redução de dimensionalidade não linear ? Eu já vi esses dois termos sendo usados ​​de forma intercambiável. Por exemplo: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : O aprendizado múltiplo (também conhecido como redução de dimensionalidade não linear) busca o objetivo de incorporar dados que originalmente se encontram …

9 terminology  dimensionality-reduction  manifold-learning 

y=β0+β1x1+ε0y=β0+β1x1+ε0y = \beta_{0} + \beta_{1}x_{1} + \varepsilon_{0} A linguagem para descrever modelos de regressão, como a regressão linear muito simples especificada acima, costuma variar e essas variações geralmente carregam mudanças sutis nos significados. Por exemplo, a parte do modelo no lado esquerdo da equação pode ser denominada (entre outras que …

9 regression  terminology 

Estou aprendendo sobre o bootstrap como meio de estimar a variação de uma estatística de amostra. Eu tenho uma dúvida básica. Citando http://web.stanford.edu/class/psych252/tutorials/doBootstrapPrimer.pdf : • Quantas observações devemos refazer a amostra? Uma boa sugestão é o tamanho da amostra original. Como podemos reamostrar tantas observações quanto na amostra original? Se …

9 sampling  bootstrap  resampling 

Estou lendo esta pré-impressão do artigo e estou tendo dificuldades em seguir a derivação das equações para a regressão de processo gaussiana. Eles usam a configuração e notação de Rasmussen & Williams . Assim, o ruído aditivo, com média zero, estacionário e normalmente distribuído com variação é assumido:σ2noiseσnoise2\sigma^2_{noise} y=f(x)+ϵ,ϵ∼N(0,σ2noise)y=f(x)+ϵ,ϵ∼N(0,σnoise2)y=f(\mathbf{x})+\epsilon, \quad …

9 regression  bayesian  gaussian-process 

Eu tenho um conjunto de dados com o seguinte formato. Há um resultado binário câncer / sem câncer. Todo médico no conjunto de dados viu todos os pacientes e julgou independentemente se o paciente tem câncer ou não. Os médicos dão a seu nível de confiança em 5 que seu …

9 forecasting  binary-data  psychometrics 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 10 meses . Preciso aplicar a função de ativação Softmax ao Perceptron de várias camadas no scikit. O …

9 neural-networks  scikit-learn  multi-class  softmax 

Os estatísticos bayesianos sustentam que "a estatística bayesiana pode estimar parâmetros que são muito difíceis de estimar através de métodos freqüentes". A seguinte citação retirada desta documentação do SAS diz a mesma coisa? Ele fornece inferências que dependem dos dados e são exatas, sem depender de aproximação assintótica. A inferência …

9 bayesian  inference  sas  frequentist 

Estou tentando implementar o modelo de Mistura Gaussiana com inferência variacional estocástica, seguindo este artigo . Este é o pgm da mistura gaussiana. De acordo com o artigo, o algoritmo completo de inferência variacional estocástica é: E ainda estou muito confuso sobre o método para escalá-lo para GMM. Primeiro, pensei …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes 

Eu tenho um conjunto de dados de imagens amplas: 1760x128. Eu li vários tutoriais e livros, e a maioria deles afirma que as imagens de entrada devem ser quadradas e, se não, são transformadas em quadradas para serem treinadas em cnns já treinados (em imagens quadradas). Existe uma maneira de …

9 conv-neural-network 

Uma das premissas da regressão linear é que deve haver uma variação constante nos termos do erro e que os intervalos de confiança e testes de hipóteses associados ao modelo se baseiam nessa suposição. O que exatamente acontece quando os termos do erro não apresentam uma variação constante?

9 regression  heteroscedasticity  assumptions  robust-standard-error 

Assuma a seguinte relação linear: YEu= β0 0+ β1 1XEu+ uEuYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_i , onde YEuYiY_i é a variável dependente, XEuXiX_i uma única variável independente e vocêEuuiu_i o termo do erro. De acordo com Stock & Watson (Introdução à Econometria; Capítulo 4 ), a terceira …

9 regression  least-squares  assumptions  bias  consistency 

Nos elementos do aprendizado estatístico , encontrei a seguinte declaração: Há uma qualificação: as etapas iniciais de triagem não supervisionada podem ser feitas antes que as amostras sejam deixadas de fora. Por exemplo, podemos selecionar os 1000 preditores com maior variação em todas as 50 amostras, antes de iniciar a …

9 machine-learning  cross-validation  feature-selection 

Estou usando a biblioteca VAR de statsmodels do python para modelar dados de séries temporais financeiras e alguns resultados me intrigam. Eu sei que os modelos VAR assumem que os dados da série temporal são estacionários. Eu inadvertidamente ajustei uma série não estacionária de preços de log para dois títulos …

9 time-series  forecasting  r-squared  var  stationarity 

Minha pergunta: devo fazer CV mesmo para um conjunto de dados relativamente grande? Eu tenho um conjunto de dados relativamente grande e aplicarei um algoritmo de aprendizado de máquina ao conjunto de dados. Como meu PC não é rápido, o CV (e a busca na grade) às vezes leva muito …

9 machine-learning  cross-validation 

Eu sou novo no suporte a máquinas vetoriais. Breve explicação A svmfunção do e1071pacote no R oferece várias opções: Classificação C classificação nu classificação única (para detecção de novidades) regressão eps regressão nu Quais são as diferenças intuitivas entre os cinco tipos? Qual deles deve ser aplicado em qual situação?

9 r  classification  svm  e1071