Estatísticas e Big Data

Um problema que eu vi com frequência levantado no contexto das redes neurais em geral, e das redes neurais profundas em particular, é que elas têm "fome de dados" - ou seja, elas não têm um bom desempenho, a menos que tenhamos um grande conjunto de dados com o qual …

37 neural-networks  deep-learning  regularization 

Citando um dos autores: A Incorporação Estocástica de Vizinhança Distribuída t (SNE) é uma técnica ( premiada ) para redução de dimensionalidade que é particularmente adequada para a visualização de conjuntos de dados de alta dimensão. Parece ótimo, mas esse é o autor falando. Outra citação do autor (re: a …

37 data-visualization  dimensionality-reduction  tsne 

Realizei a análise de componentes principais (PCA) com R usando duas funções diferentes ( prcompe princomp) e observei que as pontuações do PCA diferiam no sinal. Como pode ser? Considere isto: set.seed(999) prcomp(data.frame(1:10,rnorm(10)))$x PC1 PC2 [1,] -4.508620 -0.2567655 [2,] -3.373772 -1.1369417 [3,] -2.679669 1.0903445 [4,] -1.615837 0.7108631 [5,] -0.548879 0.3093389 …

37 r  pca  factor-analysis 

Fiquei me perguntando que diferença e relação existem entre previsão e previsão? Especialmente em séries temporais e regressão? Por exemplo, estou correto que: Em séries temporais, a previsão parece significar estimar valores futuros, dados valores passados ​​de uma série temporal. Na regressão, previsão parece significar estimar um valor, seja futuro, …

37 regression  time-series  forecasting  terminology 

Existem várias técnicas populares de reamostragem, frequentemente usadas na prática, como inicialização, teste de permutação, canivete, etc. Existem inúmeros artigos e livros que discutem essas técnicas, por exemplo, Philip I Good (2010) Permutation, Parametric, and Bootstrap Tests de hipóteses Minha pergunta é qual técnica de reamostragem ganhou mais popularidade e …

37 hypothesis-testing  nonparametric  bootstrap  permutation-test 

Eu estava tentando ajustar meus dados em vários modelos e descobri que a fitdistrfunção da biblioteca MASSde Rme dá Negative Binomialo melhor ajuste. Agora, na página da wiki , a definição é dada como: A distribuição NegBin (r, p) descreve a probabilidade de k falhas er sucessos em ensaios k …

37 r  distributions  modeling  negative-binomial 

Eu tenho usado o pacote de intercalação no R para criar modelos preditivos para classificação e regressão. O Caret fornece uma interface unificada para ajustar os hiper-parâmetros do modelo por validação cruzada ou correias de inicialização. Por exemplo, se você está construindo um modelo simples de 'vizinhos mais próximos' para …

37 r  time-series  cross-validation 

Na página 223 em Introdução ao aprendizado estatístico , os autores resumem as diferenças entre regressão de cordilheira e laço. Eles fornecem um exemplo (Figura 6.9) de quando "o laço tende a superar a regressão da crista em termos de viés, variância e MSE". Entendo por que o laço pode …

37 machine-learning  prediction  lasso  regularization  ridge-regression 

Estou lendo " Uma Introdução à Aprendizagem Estatística ". No capítulo 2, eles discutem o motivo da estimativa de uma função .fff 2.1.1 Por que estimar ?fff Há duas razões principais para estimar f : previsão e inferência . Nós discutimos cada um por vez. Eu li isso algumas vezes, …

37 prediction  terminology  causality 

Estou treinando uma rede neural e a perda de treinamento diminui, mas a perda de validação não diminui ou diminui muito menos do que eu esperava, com base em referências ou experimentos com arquiteturas e dados muito semelhantes. Como posso consertar isso? Quanto à pergunta O que devo fazer quando …

37 neural-networks  deep-learning 

Qual é a diferença entre os termos "kernel" e "filter" no contexto de redes neurais convolucionais?

37 neural-networks  terminology  deep-learning  conv-neural-network 

O teste de Mantel é amplamente utilizado em estudos biológicos para examinar a correlação entre a distribuição espacial dos animais (posição no espaço) com, por exemplo, sua relação genética, taxa de agressão ou algum outro atributo. Muitos periódicos bons estão usando ( PNAS, Comportamento Animal, Ecologia Molecular ... ). Eu …

37 r  correlation  spatial  pattern-recognition 

Atualmente, estou usando o pacote R lme4 . Estou usando um modelo linear de efeitos mistos com efeitos aleatórios: library(lme4) mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + # …

37 r  regression  mixed-model  random-effects-model 

Estou tentando entender a história da descida de gradiente e descida de gradiente estocástico . A descida em gradiente foi inventada em Cauchy em 1847. O método geral para a resolução de sistemas de equações simultâneas . pp. 536-538 Para obter mais informações, consulte aqui . Desde então, os métodos …

36 references  gradient-descent  history  sgd 

Eu estava assistindo a uma apresentação de um especialista em ML de um grande varejista, onde eles haviam desenvolvido um modelo para prever eventos fora de estoque. Vamos supor por um momento que, com o tempo, o modelo deles se torne muito preciso, não seria de alguma maneira "autodestrutivo"? Ou …

36 machine-learning  predictive-models