Estatísticas e Big Data

Sou estudante de psicologia e, à medida que estudo mais e mais independentemente em estatística, fico cada vez mais impressionado com a inadequação do meu treinamento formal. Tanto a experiência pessoal quanto a de segunda mão sugerem que a escassez de rigor estatístico na graduação e na pós-graduação é onipresente …

227 fallacy 

O AIC e o BIC são os dois métodos de avaliação do ajuste do modelo penalizados pelo número de parâmetros estimados. Pelo que entendi, o BIC penaliza mais os modelos por parâmetros livres do que o AIC. Além de uma preferência baseada no rigor dos critérios, existem outros motivos para …

222 modeling  aic  cross-validation  bic  model-selection 

Ao treinar uma rede neural, que diferença faz para definir: tamanho do lote para e o número de iterações paraumaumaabbb vs. tamanho do lote em número de iterações emcccddd onde ?a b = c dumab=cd ab = cd Em outras palavras, assumindo que treinamos a rede neural com a mesma …

222 neural-networks  train 

Parece que vários pacotes estatísticos que uso envolvem esses dois conceitos. No entanto, estou me perguntando se existem suposições diferentes ou 'formalidades' de dados que devem ser verdadeiras para usar uma sobre a outra. Um exemplo real seria incrivelmente útil.

215 pca  factor-analysis 

Qual é a diferença entre mineração de dados, estatística, aprendizado de máquina e IA? Seria correto dizer que são quatro campos tentando resolver problemas muito semelhantes, mas com abordagens diferentes? O que exatamente eles têm em comum e onde eles diferem? Se existe algum tipo de hierarquia entre eles, qual …

208 machine-learning  data-mining 

Imagine um cenário padrão de aprendizado de máquina: Você é confrontado com um grande conjunto de dados multivariado e tem uma compreensão bastante embaçada dele. O que você precisa fazer é fazer previsões sobre alguma variável com base no que você tem. Como de costume, você limpa os dados, analisa …

207 machine-learning  forecasting  modeling  model-selection  forecastability 

... supondo que eu seja capaz de aumentar o conhecimento deles sobre variação de maneira intuitiva ( Entendendo "variação" intuitivamente ) ou dizendo: É a distância média dos valores dos dados da 'média' - e como a variação está no quadrado unidades, pegamos a raiz quadrada para manter as mesmas …

207 variance  covariance  intuition 

Portanto, temos média aritmética (AM), média geométrica (GM) e média harmônica (HM). Sua formulação matemática também é bem conhecida, juntamente com seus exemplos estereotipados associados (por exemplo, média harmônica e sua aplicação a problemas relacionados à "velocidade"). No entanto, uma pergunta que sempre me intrigou é "como decido qual meio …

197 mean 

Eu gostaria de implementar um algoritmo para seleção automática de modelo. Estou pensando em fazer regressão gradual, mas qualquer coisa serve (porém, deve ser baseada em regressões lineares). Meu problema é que não consigo encontrar uma metodologia ou uma implementação de código aberto (estou trabalhando em java). A metodologia que …

193 references  feature-selection  model-selection  aic  stepwise-regression 

Qual é o melhor livro de introdução às estatísticas bayesianas? Um livro por resposta, por favor.

192 bayesian  references 

Se tenho dados positivos altamente distorcidos, geralmente tomo logs. Mas o que devo fazer com dados não negativos altamente distorcidos que incluem zeros? Eu vi duas transformações usadas: registro( x + 1 )log⁡(x+1)\log(x+1) que possui o recurso puro que 0 mapeia para 0. registro( x + c )log⁡(x+c)\log(x+c) que c …

191 data-transformation  large-data 

Tenho certeza de que muitas pessoas responderão com links para 'deixe-me pesquisar no google por você', então quero dizer que tentei descobrir isso, por favor, perdoe minha falta de compreensão aqui, mas não consigo descobrir como o implementação prática de uma rede neural realmente funciona. Entendo a camada de entrada …

187 machine-learning  neural-networks  nonlinear-regression 

Eu tenho R quadro de dados como este: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Preciso obter o quadro de dados no seguinte formato: …

181 r  data-transformation 

Tendo me graduado recentemente em meu programa de doutorado em estatística, durante os últimos dois meses comecei a procurar trabalho no campo da estatística. Quase todas as empresas que eu considerei tinham um anúncio de emprego com o título de " Data Scientist ". De fato, parecia que estavam longe …

181 terminology  definition  careers 

Estou usando Python Keras packagepara rede neural. Este é o link . É batch_sizeigual ao número de amostras de teste? Da Wikipedia, temos esta informação: No entanto, em outros casos, a avaliação do gradiente de soma pode exigir avaliações dispendiosas dos gradientes de todas as funções de soma. Quando o …

175 neural-networks  python  terminology  keras