Estatísticas e Big Data

Regularização de Tikhonov e regressão de crista são termos frequentemente usados ​​como se fossem idênticos. É possível especificar exatamente qual é a diferença?

33 regression  terminology  regularization  ridge-regression  tikhonov-regularization 

Sou engenheiro de software aprendendo aprendizado de máquina, principalmente através dos cursos de Andrew Ng . Enquanto estudava regressão linear com regularização , encontrei termos que são confusos: Regressão com regularização L1 ou regularização L2 LAÇO Regressão de Ridge Então, minhas perguntas: A regressão com regularização L1 é exatamente igual …

33 regression  terminology  lasso  regularization  ridge-regression 

Estou procurando uma explicação de como a importância da variável relativa é calculada nas árvores com gradiente de aumento que não é excessivamente geral / simplista como: As medidas são baseadas no número de vezes que uma variável é selecionada para divisão, ponderada pela melhoria ao quadrado do modelo como …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Estou tentando entender a origem das bandas de confiança em forma de curva associadas a uma regressão linear OLS e como ela se relaciona com os intervalos de confiança dos parâmetros de regressão (inclinação e interceptação), por exemplo (usando R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Parece que a …

33 regression  confidence-interval 

Eu li em algumas fontes, incluindo esta , que as florestas aleatórias não são sensíveis a outliers (da mesma forma que a regressão logística e outros métodos de ML são, por exemplo). No entanto, duas intuições me dizem o contrário: Sempre que uma árvore de decisão é construída, todos os …

33 random-forest  bootstrap  outliers  cart 

Como os métodos de regularização de cume, LASSO e elasticnet se comparam? Quais são as respectivas vantagens e desvantagens? Qualquer bom artigo técnico ou anotações de aula também serão apreciados.

33 references  lasso  regularization  ridge-regression  elastic-net 

Entendo que os HMMs (modelos ocultos de Markov) são modelos generativos e os CRF são modelos discriminativos. Também entendo como os CRFs (campos aleatórios condicionais) são projetados e usados. O que eu não entendo é como eles são diferentes dos HMMs? Eu li que, no caso do HMM, só podemos …

33 machine-learning  hidden-markov-model  natural-language  conditional-random-field 

Eu sei que este é um tópico bastante quente, onde ninguém realmente pode dar uma resposta simples. No entanto, estou me perguntando se a seguinte abordagem não poderia ser útil. O método de autoinicialização é útil apenas se sua amostra seguir mais ou menos (leia exatamente) a mesma distribuição que …

33 bootstrap  sample-size  methodology 

Eu tenho um conjunto de dados X que tem 10 dimensões, 4 das quais são valores discretos. De fato, essas 4 variáveis ​​discretas são ordinais, ou seja, um valor mais alto implica uma semântica maior / melhor. 2 dessas variáveis ​​discretas são categóricas no sentido de que, para cada uma …

33 clustering  k-means  discrete-data  continuous-data  gaussian-mixture 

Andrew More define ganho de informação como: IG(Y|X)=H(Y)−H(Y|X)EuG(Y|X)=H(Y)-H(Y|X)IG(Y|X) = H(Y) - H(Y|X) onde é a entropia condicional . No entanto, a Wikipedia chama a quantidade acima de informações mútuas .H(Y|X)H(Y|X)H(Y|X) A Wikipedia, por outro lado, define ganho de informação como a divergência de Kullback – Leibler (também conhecida como divergência …

33 information-theory 

Meu pai é um entusiasta da matemática, mas não está muito interessado em estatística. Seria interessante tentar ilustrar alguns dos maravilhosos bits de estatística, e o CLT é um candidato principal. Como você transmitiria a beleza matemática e o impacto do teorema do limite central a um não estatístico?

33 theory  central-limit-theorem 

Se sim, o que? Se não, por que não? Para uma amostra na linha, a mediana minimiza o desvio absoluto total. Parece natural estender a definição para R2, etc., mas nunca a vi. Mas então, eu estive no campo esquerdo por um longo tempo.

33 multivariate-analysis  spatial  median 

Estou executando um cluster hierárquico de dados que reuni e processei no despejo de dados do reddit no Google BigQuery. Meu processo é o seguinte: Receba as últimas 1000 postagens em / r / policy Reúna todos os comentários Processar os dados e calcular uma n x mmatriz de dados …

33 clustering  distance  unsupervised-learning  hierarchical-clustering 

No curso de redes neurais e aprendizado profundo de Andrew Ng, sobre o Coursera, ele diz que usar é quase sempre preferível ao .tanhtanhtanhsigmoidsigmoidsigmoid A razão que ele dá é que as saídas usando centralizam em torno de 0 em vez de 0,5 da , e isso "torna o aprendizado …

33 machine-learning  neural-networks  backpropagation  sigmoid-curve 

Entendo qual é a distribuição preditiva posterior e tenho lido sobre verificações preditivas posteriores , embora ainda não esteja claro o que ela faz. O que exatamente é a verificação preditiva posterior? Por que alguns autores dizem que a execução de verificações preditivas posteriores está "usando os dados duas vezes" …

33 bayesian  model-selection  posterior