Estatísticas e Big Data

Até onde eu sei, os SOMs no estilo Kohonen tiveram um pico em 2005 e não têm recebido tanto favor recentemente. Não encontrei nenhum documento que diga que os SOMs tenham sido incluídos por outro método ou que tenham sido equivalentes a outra coisa (em dimensões mais altas, de qualquer …

33 clustering  self-organizing-maps 

Vi pessoas envidando muitos esforços no SVM e no Kernels, e elas parecem bem interessantes como iniciantes no Machine Learning. Mas se esperamos que quase sempre possamos encontrar uma solução com desempenho superior em termos de rede neural (profunda), qual é o significado de tentar outros métodos nesta era? Aqui …

33 machine-learning  svm  kernel-trick  supervised-learning 

Procurei uma maneira de remover discrepantes de um conjunto de dados e encontrei esta pergunta . Em alguns dos comentários e respostas a essa pergunta, no entanto, as pessoas mencionaram que é uma prática ruim remover valores discrepantes dos dados. No meu conjunto de dados, tenho vários valores discrepantes que …

33 outliers 

Alguém viu alguma literatura sobre pré-treinamento em redes neurais convolucionais profundas? Vi apenas pré-treinamento não supervisionado em máquinas de autoencoder ou boltzman restritas.

33 machine-learning  neural-networks  deep-learning  conv-neural-network  autoencoders 

Estou trabalhando em um livro de estatística enquanto aprendo R e encontrei um obstáculo no exemplo a seguir: Depois de olhar, ?quantiletentei recriar isso em R com o seguinte: > nuclear <- c(7, 20, 16, 6, 58, 9, 20, 50, 23, 33, 8, 10, 15, 16, 104) > quantile(nuclear) 0% …

33 r  quantiles 

Estou procurando uma explicação intuitiva para as seguintes perguntas: Na estatística e na teoria da informação, qual é a diferença entre a distância de Bhattacharyya e a divergência de KL, como medidas da diferença entre duas distribuições de probabilidade discretas? Eles não têm absolutamente nenhum relacionamento e medem a distância …

33 mathematical-statistics  information-theory  kullback-leibler  bhattacharyya 

Minhas perguntas Qual é a razão intuitiva por trás da rotação de fatores na análise fatorial (ou componentes no PCA)? Meu entendimento é que, se as variáveis ​​são quase igualmente carregadas nos principais componentes (ou fatores), então obviamente é difícil diferenciar os componentes. Portanto, neste caso, pode-se usar a rotação …

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

Suponha que você observe a sequência: 7, 9, 0, 5, 5, 5, 4, 8, 0, 6, 9, 5, 3, 8, 7, 8, 5, 4, 0, 0, 6, 6, 4, 5, 3, 3, 7, 5, 9, 8, 1, 8, 6, 2, 8, 4, 6, 4, 1, 9, 9, 0, 5, 2, …

33 random-generation  randomness 

Imagino que quanto maior o coeficiente de uma variável, maior a capacidade do modelo de "girar" nessa dimensão, proporcionando uma oportunidade maior de ajustar o ruído. Embora eu ache que tenho um senso razoável da relação entre a variação no modelo e os coeficientes grandes, não tenho uma noção tão …

33 regression  variance  linear-model  bias  regularization 

Qual é a diferença entre variância finita e infinita? Meu conhecimento de estatísticas é bastante básico; Wikipedia / Google não foi de muita ajuda aqui.

33 variance  intuition  partial-moments 

Ao calcular a matriz de covariância de uma amostra, é garantido obter uma matriz simétrica e definida positiva? Atualmente, meu problema tem uma amostra de 4600 vetores de observação e 24 dimensões.

33 sampling  covariance 

A estatística de teste para o teste Hosmer-Lemeshow (HLT) para qualidade de ajuste (GOF) de um modelo de regressão logística é definida da seguinte forma: A amostra é então dividida em deciles , D_1, D_2, \ dots, D_ {d} , por decil, um calcula as seguintes quantidades:d=10d=10d=10D1,D2,…,DdD1,D2,…,DdD_1, D_2, \dots , …

33 regression  logistic  goodness-of-fit  degrees-of-freedom  hosmer-lemeshow-test 

Estou procurando orientações sobre como interpretar gráficos residuais de modelos de glm. Especialmente modelos poisson, binomial negativo e binomial. O que podemos esperar desses gráficos quando os modelos estão "corretos"? (por exemplo, esperamos que a variação cresça à medida que o valor previsto aumenta, pois ao lidar com um modelo …

33 generalized-linear-model  diagnostic  residuals 

Eu compartilho a mesma data de nascimento do meu namorado, a mesma data, mas também o mesmo ano, nossos nascimentos são separados por apenas 5 horas ou mais. Sei que as chances de encontrar alguém que nasceu na mesma data que eu são bastante altas e conheço algumas pessoas com …

33 probability  birthday-paradox 

Eu sou novo na modelagem com redes neurais, mas consegui estabelecer uma rede neural com todos os pontos de dados disponíveis que se ajustam bem aos dados observados. A rede neural foi feita em R com o pacote nnet: require(nnet) ##33.8 is the highest value mynnet.fit <- nnet(DOC/33.80 ~ ., …

33 r  neural-networks