Estatísticas e Big Data

Li o artigo de Alexandru Niculescu-Mizil e Rich Caruana, " Obtendo probabilidades calibradas de impulsionar " e a discussão neste tópico. No entanto, ainda estou tendo problemas para entender e implementar a logística ou o dimensionamento de Platt para calibrar a saída do meu classificador impulsionador de várias classes (impulso …

19 machine-learning  boosting 

Existe alguma diferença entre 'transferência de aprendizado' e 'adaptação de domínio'? Não conheço o contexto, mas entendo que temos um conjunto de dados 1 e o treinamos, após o qual temos outro conjunto de dados 2 para o qual queremos adaptar nosso modelo sem precisar treinar novamente do zero, para …

19 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

A pergunta pode parecer um pouco estranha, porque sou novo na inferência estatística e nas redes neurais. Quando em problemas de classificação usando redes neurais, dizemos que queremos aprender uma função que mapeia o espaço das entradas , para o espaço das saídas :f∗f∗f^*xxxyyy f∗(x;θ)=yf∗(x;θ)=yf^*(x; \theta) = y Estamos ajustando …

19 machine-learning  neural-networks 

Estou tentando entender como a regressão logística usa a distribuição binomial. Digamos que estou estudando o sucesso do ninho em pássaros. A probabilidade de um ninho ter sucesso é de 0,6. Usando a distribuição binomial, posso calcular a probabilidade de r sucessos dados em n tentativas (número de ninhos estudados). …

19 logistic  binomial 

Eu estive pesquisando métodos de aprendizado semi-supervisionados e me deparei com o conceito de "pseudo-rotulagem". Pelo que entendi, com a pseudo-rotulagem, você tem um conjunto de dados rotulados e um conjunto de dados não rotulados. Primeiro você treina um modelo apenas nos dados rotulados. Em seguida, você usa esses dados …

19 machine-learning  semi-supervised 

Florestas aleatórias são usadas para regressão. No entanto, pelo que entendi, eles atribuem um valor-alvo médio a cada folha. Como há apenas folhas limitadas em cada árvore, existem apenas valores específicos que a meta pode atingir em nosso modelo de regressão. Portanto, não é apenas uma regressão "discreta" (como uma …

18 regression  random-forest  cart 

Estou tentando entender o que a cadeia de Markov Monte Carlo (MCMC) é da página da Wikipedia em francês. Eles dizem "que os métodos de Monte Carlo da cadeia de Markov consistem em gerar um vetor xixix_ {i} apenas a partir dos dados vetoriais xi−1xi−1x_ {i-1} ; portanto, é um …

18 mcmc 

Os métodos de seleção de variáveis ​​algorítmicas passo a passo tendem a selecionar modelos que enviesam mais ou menos todas as estimativas em modelos de regressão ( ββ\beta s e seus SEs, valores de p , estatísticas F , etc.) e têm a probabilidade de excluir preditores verdadeiros como incluir …

18 regression  feature-selection  lasso  regression-strategies  stepwise-regression 

Existe uma definição matemática ou algorítmica de sobreajuste? As definições geralmente fornecidas são o gráfico 2-D clássico de pontos, com uma linha passando por cada ponto e a curva de perda de validação subindo subitamente. Mas existe uma definição matematicamente rigorosa?

18 mathematical-statistics  optimization  overfitting 

Quando a palavra "viés" foi cunhada para significar ?E [ θ^- θ ]E[θ^−θ]\mathbb{E}[\hat{\theta}-\theta] A razão pela qual estou pensando nisso agora é porque pareço me lembrar de Jaynes, em seu texto da Teoria das Probabilidades , criticando o uso da palavra "preconceito" usado para descrever essa fórmula e sugerindo uma …

18 terminology  bias  history 

Eu tenho uma variável de resultado binário {0,1} e uma variável preditora {0,1}. Penso que não faz sentido fazer logística, a menos que eu inclua outras variáveis ​​e calcule o odds ratio. Com um preditor binário, o cálculo da probabilidade não seria suficiente versus o odds ratio?

18 r  regression  probability  logistic  odds-ratio 

Na fórmula de Bayes: P( x | a ) = P( a | x ) P( X )P( Um )P(x|uma)=P(uma|x)P(x)P(uma)P(x|a) = \frac{P(a|x) P(x)}{P(a)} a probabilidade posterior P( x | a )P(x|uma)P(x|a) pode exceder 1? Eu acho que é possível se, por exemplo, supondo que 0 < P( Um ) < …

18 probability  bayesian  conditional-probability 

Estou na 10ª série e pretendo simular dados para um projeto de feira de ciências de aprendizado de máquina. O modelo final será usado nos dados do paciente e preverá a correlação entre determinados horários da semana e o efeito que isso tem na adesão ao medicamento nos dados de …

18 machine-learning  statistical-significance  t-test  python  simulation 

A distribuição normal converge para uma determinada distribuição se o desvio padrão cresce sem limites? parece-me que o pdf começa a parecer uma distribuição uniforme com limites dados por . Isso é verdade?[−2σ,2σ][−2σ,2σ][-2 \sigma, 2 \sigma]

18 normal-distribution  convergence 

As redes neurais convolucionais mais comuns contêm camadas de pooling para reduzir as dimensões dos recursos de saída. Por que não consegui a mesma coisa simplesmente aumentando o passo da camada convolucional? O que torna a camada de pool necessária?

18 deep-learning  conv-neural-network  pooling