Estatísticas e Big Data

Introdução Dentro de uma rede neural convolucional, geralmente temos uma estrutura / fluxo geral que se parece com isso: imagem de entrada (ou seja, um vetor 2D x) (A primeira camada convolucional (Conv1) começa aqui ...) envolva um conjunto de filtros ( w1) ao longo da imagem 2D (ou seja, …

32 neural-networks  deep-learning  conv-neural-network 

Eu sei que a entropia é a medida da aleatoriedade de um processo / variável e pode ser definida da seguinte forma. para uma variável aleatória conjunto : - . No livro sobre Entropia e Teoria da Informação de MacKay, ele fornece esta declaração no capítulo 2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in …

32 uniform  entropy  maximum-entropy 

Digamos que temos as estatísticas abaixo gender mean sd n f 1.666667 0.5773503 3 m 4.500000 0.5773503 4 Como você executa um teste t de duas amostras (para ver se há uma diferença significativa entre as médias de homens e mulheres em alguma variável) usando estatísticas como essa em vez …

32 r  t-test 

Gostaria de saber o quão confiante posso estar no meu . Alguém sabe como definir níveis de confiança superiores e inferiores para uma distribuição de Poisson?λλ\lambda Observações ( ) = 88nnn Média da amostra ( ) = 47.18182λλ\lambda como seria a confiança de 95% para isso?

32 poisson-distribution  confidence-interval 

Eu tenho trabalhado em um problema de regressão em que a entrada é uma imagem e o rótulo é um valor contínuo entre 80 e 350. As imagens são de alguns produtos químicos após a reação. A cor que aparece indica a concentração de outro produto químico que resta, e …

32 regression  machine-learning  neural-networks  conv-neural-network  tensorflow 

Eu estudo os LSTMs há um tempo. Eu entendo em alto nível como tudo funciona. No entanto, ao implementá-los usando o Tensorflow, notei que o BasicLSTMCell requer um número de unidades (ou seja num_units) parâmetro. A partir desta explicação minuciosa dos LSTMs, concluí que uma única unidade LSTM é uma …

32 neural-networks  terminology  lstm  rnn  tensorflow 

Vejo a seguinte equação em " In Reforcement Learning. An Introduction ", mas não siga a etapa que destaquei em azul abaixo. Como exatamente essa etapa é derivada?

32 expected-value  reinforcement-learning 

Vou propor esta questão por meio de um exemplo. Suponha que eu tenha um conjunto de dados, como o conjunto de dados de preços de imóveis em Boston, no qual possuo variáveis ​​contínuas e categóricas. Aqui, temos uma variável "qualidade", de 1 a 10, e o preço de venda. Posso …

31 hypothesis-testing  data-visualization  p-value  dataset  inference 

Estou tentando entender por que a saída da regressão logística dessas duas bibliotecas fornece resultados diferentes. Eu estou usando o conjunto de dados do UCLA Idre tutorial , a previsão admitcom base em gre, gpae rank. ranké tratado como variável categórica, por isso é primeiro convertido em variável dummy com …

31 regression  logistic  python  scikit-learn  statsmodels 

De acordo com este artigo muito interessante na Revista Quanta: "Uma prova de longa data, encontrada e quase perdida" , - foi provado que, dado um vetor com uma variável multivariada Distribuição gaussiana e com os intervalos centrados em torno das médias dos componentes correspondentes de , entãoI 1 , …

31 normal-distribution  confidence-interval  multivariate-normal 

Aqui está uma simples questão estatística que me foi dada. Não tenho muita certeza de entender. X = o número de pontos adquiridos em um exame (múltipla escolha e resposta certa são um ponto). O binômio X é distribuído? A resposta do professor foi: Sim, porque existem apenas respostas certas …

31 self-study  binomial 

Apenas um pensamento: Os modelos parcimoniosos sempre foram a opção padrão na seleção de modelos, mas em que grau essa abordagem está desatualizada? Estou curioso sobre o quanto nossa tendência à parcimônia é uma relíquia de um tempo de regras abac e deslizantes (ou, mais seriamente, computadores não modernos). O …

31 predictive-models  model-selection  model 

Estive lendo sobre valores- , taxas de erro tipo 1, níveis de significância, cálculos de potência, tamanhos de efeito e o debate Fisher vs Neyman-Pearson. Isso me deixou um pouco sobrecarregado. Peço desculpas pelo muro de texto, mas senti que era necessário fornecer uma visão geral do meu entendimento atual …

31 hypothesis-testing  statistical-significance  confidence-interval  p-value  effect-size 

Tenho o seguinte problema em mãos: Tenho uma lista muito longa de palavras, possivelmente nomes, sobrenomes etc. É necessário agrupar essa lista de palavras, de modo que palavras semelhantes, por exemplo palavras com distância de edição semelhante (Levenshtein), apareçam no mesmo cluster. Por exemplo, "algoritmo" e "alogritmo" devem ter grandes …

31 clustering  k-means  pattern-recognition 

Hinton e Salakhutdinov, em Reduzindo a dimensionalidade dos dados com redes neurais, a Science 2006 propôs um PCA não linear através do uso de um autoencoder profundo. Eu tentei construir e treinar um autoencoder PCA com Tensorflow várias vezes, mas nunca consegui obter melhores resultados do que o PCA linear. …

31 pca  python  deep-learning  tensorflow  autoencoders