Estatísticas e Big Data

Estou modelando 15000 tweets para previsão de sentimentos usando uma única camada LSTM com 128 unidades ocultas usando uma representação do tipo word2vec com 80 dimensões. Recebo uma precisão de descida (38% com aleatório = 20%) após 1 época. Mais treinamento faz com que a precisão da validação comece a …

13 deep-learning  regularization  overfitting  lstm 

Os histogramas dão uma boa noção da distribuição de uma variável. Box plots tentam fazer a mesma coisa, no entanto, não dão uma imagem tão boa da distribuição dessa variável. Não entendo por que as pessoas usam gráficos de caixas. Os histogramas são melhores em todos os aspectos. Existe uma …

13 data-visualization  histogram  boxplot 

Aprendizado por Reforço: Uma Introdução. Segunda edição, em andamento ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68. Resolver uma tarefa de aprendizado por reforço significa, basicamente, encontrar uma política que obtenha muitas recompensas a longo prazo. Para MDPs finitos, podemos definir com precisão uma política ideal …

13 markov-process  reinforcement-learning 

Digamos que eu queira testar se duas amostras independentes têm meios diferentes. Eu sei que a distribuição subjacente não é normal . Se eu entendi direito, minha estatística de teste é a média e, para tamanhos de amostra grandes o suficiente, a média deve se distribuir normalmente mesmo que as …

13 t-test  central-limit-theorem  z-test 

Enquanto lia casualmente algum mercado de massa trabalha com a teoria do caos nos últimos anos, comecei a me perguntar como vários aspectos dele poderiam ser aplicados à mineração de dados e campos relacionados, como redes neurais, reconhecimento de padrões, gerenciamento de incertezas etc. deparamos com tão poucos exemplos de …

13 self-study  mathematical-statistics  references  data-mining  fractal 

Eu sei que os modelos estatísticos tradicionais como Cox Riscos Proporcionais de regressão e alguns modelos de Kaplan-Meier podem ser usados para prever dias até a próxima ocorrência de uma falha digamos evento etc. ie análise de sobrevida Questões Como a versão de regressão de modelos de aprendizado de máquina …

13 machine-learning  classification  survival  cox-model  kaplan-meier 

Richard Dawkins descreveu Ronald Fisher como "o pai da estatística moderna e do design experimental", uma linha que é citada na biografia de Fisher na Wikipedia . E também Anders Hald o chamou de "um gênio que quase sozinho criou os fundamentos da ciência estatística moderna" em seu livro A …

13 history  ronald-fisher 

Quando avaliamos a qualidade de uma floresta aleatória, por exemplo, usando AUC, é mais apropriado calcular essas quantidades nas amostras fora da bolsa ou no conjunto de validação cruzada de espera? Ouvi dizer que calculá-lo sobre as amostras OOB oferece uma avaliação mais pessimista, mas não vejo o porquê.

13 cross-validation  random-forest  auc 

Estou tentando entender a seguinte prova de que o gaussiano tem entropia máxima. Como o passo estrelado faz sentido? Uma covariância específica apenas fixa o segundo momento. O que acontece com o terceiro, quarto, quinto momento, etc?

13 entropy  information-theory  maximum-entropy 

Na seção 3.2 do Reconhecimento de padrões e aprendizado de máquina de Bishop , ele discute a decomposição da variação de viés, afirmando que, para uma função de perda ao quadrado, a perda esperada pode ser decomposta em um termo de viés ao quadrado (que descreve a que distância as …

13 self-study  variance  bias  regularization  loss-functions 

Eu li sobre o que é censura e como ela deve ser considerada na análise de sobrevivência, mas gostaria de ouvir uma definição menos matemática e uma definição mais intuitiva (as fotos seriam ótimas!). Alguém pode me fornecer uma explicação de 1) censura e 2) como isso afeta coisas como …

13 survival  cox-model  censoring 

Eu tenho um pequeno conjunto de dados de 14 vezes separadas para concluir uma tarefa. No entanto, estou tendo dificuldade em encontrar um gráfico apropriado para usar no gráfico dos dados. Se a amostra fosse maior, eu usaria um gráfico de caixa ou histograma, mas não tenho certeza se seria …

13 data-visualization  descriptive-statistics  small-sample 

Qual é a diferença entre Outlier e Anomaly no contexto de aprendizado de máquina. Meu entendimento é que os dois se referem à mesma coisa.

13 outliers  terminology  anomaly-detection 

Vejo mencionado em vários lugares que a ANOVA faz sua estimativa usando o método dos momentos. Estou confuso com essa afirmação porque, embora não esteja familiarizado com o método dos momentos, meu entendimento é que é algo diferente e não equivalente ao método da máxima probabilidade; por outro lado, a …

13 anova  mixed-model  maximum-likelihood  method-of-moments 

Não entendo como essa equação foi derivada. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Esta equação foi do artigo "Trial by Probability", onde o caso de OJ Simpson foi dado como um exemplo de problema. O réu está sendo julgado por duplo assassinato e duas evidências são apresentadas contra ele. é o …

13 bayesian  conditional-probability  bayes