Estatísticas e Big Data

Gostaria de saber se o desvio padrão sempre foi construído com base na suposição de uma distribuição normal. Em outras palavras, se a amostra não for normalmente distribuída, o desvio padrão deve ser considerado um erro?

9 normal-distribution  standard-deviation 

Configuração do problema Eu tenho pontos de dados (imagens) de alta dimensão (4096), que estou tentando visualizar em 2D. Para esse fim, estou usando t-sne de maneira semelhante ao código de exemplo a seguir de Karpathy . A documentação do scikit-learn recomenda o uso do PCA para diminuir primeiro a …

9 pca  dimensionality-reduction  high-dimensional  java  tsne 

Eu estava lendo este artigo sobre aquaponia e algumas das estatísticas não faziam sentido em relação às porcentagens listadas. Que método permitiria que essas porcentagens existissem? Os animais aquáticos mais comumente criados em porcentagem foram tilápia (69%), peixes ornamentais (43%), peixe-gato (25%), outros animais aquáticos (18%), poleiro (16%), bluegill (15%), …

9 percentage 

Estou ajustando vários modelos do formulário .. glm(DV ~ I(1/IV), family = Gamma(link = "log") .. e estou procurando maneiras de comparar os modelos obtidos para diferentes variáveis. Gostaria de saber se o valor alfa é de alguma utilidade prática? Para as três parcelas abaixo, os valores alfa são 17,85, …

9 generalized-linear-model  gamma-distribution 

Na Econometria Introdutória de Wooldridge, há uma citação: O argumento que justifica a distribuição normal dos erros geralmente é algo como isto: como é a soma de muitos fatores não observados que afetam , podemos invocar o teorema do limite central para concluir que tem uma distribuição normal aproximada.e vcvocêuuyyyvocêuu …

9 self-study  linear-model  econometrics  normality-assumption  central-limit-theorem 

Em esta questão populares , alta resposta upvoted faz MLE e Baum Welch separar na montagem HMM. Para problemas de treinamento, podemos usar os três algoritmos a seguir: MLE (estimativa de máxima verossimilhança), treinamento em Viterbi (NÃO confunda com decodificação em Viterbi), Baum Welch = algoritmo de avanço / retrocesso …

9 hidden-markov-model  expectation-maximization 

Alguém sabe o que é a função de distribuição cumulativa inversa da distribuição normal? Possui uma expressão de formulário fechado? Não encontrei nenhuma boa resposta usando o Google.

9 normal-distribution  inverse-cdf 

Eu li sobre SVMs e aprendi que eles estão resolvendo um problema de otimização e a idéia de margem máxima era muito razoável. Agora, usando kernels, eles podem encontrar limites de separação não lineares, o que foi ótimo. Até agora, eu realmente não tenho nenhuma idéia de como SVMs (uma …

9 machine-learning  neural-networks  svm  deep-learning  kernel-trick 

Eu tenho uma pergunta metodológica geral. Pode ter sido respondido antes, mas não consigo localizar o encadeamento relevante. Agradeço os ponteiros para possíveis duplicatas. ( Aqui está uma excelente, mas sem resposta. Isso também é semelhante em espírito, mesmo com uma resposta, mas a última é muito específica da minha …

9 modeling  inference  misspecification 

Já fiz essa pergunta de outra maneira em outras trocas de pilha, desculpe-me pela repostagem. Eu perguntei ao meu professor e a alguns estudantes de doutorado sobre, sem uma resposta definitiva. Primeiro vou declarar o problema, depois minha solução em potencial e o problema com a minha solução, desculpe a …

9 poisson-distribution  poisson-process 

Estou treinando uma rede neural convolucional simples para regressão, onde a tarefa é prever a localização (x, y) de uma caixa em uma imagem, por exemplo: A saída da rede possui dois nós, um para x e um para y. O restante da rede é uma rede neural convolucional padrão. …

9 machine-learning  neural-networks  optimization  deep-learning  loss-functions 

Eu tenho muitos dados de séries temporais - níveis e velocidades da água versus tempo. É a saída de uma simulação de modelo hidráulico. Como parte do processo de revisão para confirmar que o modelo está executando como esperado, tenho que plotar cada série temporal para garantir que não haja …

9 time-series  data-visualization  change-point 

Após minha curta experiência em estatística, parece que o tipo de soma de quadrados (tipo I, II, III, IV ...) usado na obtenção de resultados de ANOVA poderia fazer uma diferença drástica nos resultados dos testes (especialmente nos modelos com interações e falta) dados). No entanto, ainda não vi um …

9 regression  anova  manova  reporting  sums-of-squares 

Desculpa-se pelo uso indevido de termos técnicos. Estou trabalhando em um projeto de segmentação semântica via redes neurais convolucionais (CNNs); tentando implementar uma arquitetura do tipo Encoder-Decoder, portanto, a saída é do mesmo tamanho que a entrada. Como você cria os rótulos? Que função de perda se deve aplicar? Especialmente …

9 conv-neural-network  image-processing  segmentation 

Estou tentando avaliar o desempenho do cluster. Eu estava lendo a documentação do skiscit-learn em métricas . Eu não entendo a diferença entre ARI e AMI. Parece-me que eles fazem a mesma coisa de duas maneiras diferentes. Citando a partir da documentação: Dado o conhecimento das atribuições básicas da classe …

9 clustering  python  scikit-learn