Estatísticas e Big Data

Em muitas bibliotecas de redes neurais, existem 'camadas de incorporação', como em Keras ou Lasagne . Não sei se entendi sua função, apesar de ler a documentação. Por exemplo, na documentação do Keras, ele diz: Transforme números inteiros positivos (índices) em vetores densos de tamanho fixo, por exemplo. [[4], [20]] …

92 machine-learning  neural-networks  python  word-embeddings 

Como alguém pode usar validação cruzada aninhada para seleção de modelo ? Pelo que li online, o CV aninhado funciona da seguinte maneira: Existe o loop interno do CV, no qual podemos realizar uma pesquisa na grade (por exemplo, executando a dobra K para todos os modelos disponíveis, por exemplo, …

91 cross-validation  model-selection 

Ouvi muitas vezes sobre a maldição da dimensionalidade, mas de alguma forma ainda não consigo entender a ideia, está tudo nebuloso. Alguém pode explicar isso da maneira mais intuitiva, como você explicaria a uma criança, para que eu (e os outros confusos como eu sou) entendesse isso definitivamente? EDITAR: Agora, …

91 machine-learning  dimensionality-reduction  high-dimensional 

ANOVA é equivalente a regressão linear com o uso de variáveis ​​dummy adequadas. As conclusões permanecem as mesmas, independentemente de você usar ANOVA ou regressão linear. À luz de sua equivalência, existe alguma razão pela qual ANOVA é usada em vez de regressão linear? Nota: Estou particularmente interessado em ouvir …

91 regression  anova 

Alguém me fez essa pergunta em uma entrevista de emprego e eu respondi que sua distribuição conjunta é sempre gaussiana. Pensei que sempre posso escrever um gaussiano bivariado com seus meios, variância e covariâncias. Gostaria de saber se pode haver um caso em que a probabilidade conjunta de dois gaussianos …

91 normal-distribution  multivariate-analysis  copula  bivariate 

Em um colóquio recente, o resumo do orador alegou que eles estavam usando aprendizado de máquina. Durante a palestra, a única coisa relacionada ao aprendizado de máquina foi que eles realizam regressão linear em seus dados. Depois de calcular os coeficientes de melhor ajuste no espaço de parâmetros 5D, eles …

90 regression  machine-learning  multiple-regression  terminology  definition 

Apostei com um colega de trabalho que, em 50 jogos de pingue-pongue (primeiro a ganhar 21 pontos, a vitória por 2), vencerei todos os 50. Até agora, jogamos 15 jogos e, em média, ganho 58% dos os pontos, mais eu ganhei todos os jogos até agora. Então, estamos nos perguntando …

90 probability  games 

Em geral, o que se quer dizer com dizer que a fração da variação em uma análise como PCA é explicada pelo primeiro componente principal? Alguém pode explicar isso intuitivamente, mas também fornecer uma definição matemática precisa do que "variação explicada" significa em termos de análise de componentes principais (PCA)?xxx …

90 regression  pca  linear-model  dimensionality-reduction 

Frequentemente ouvimos falar de gerenciamento de projetos e padrões de design em ciência da computação, mas com menos frequência em análises estatísticas. No entanto, parece que um passo decisivo para a criação de um projeto estatístico eficaz e durável é manter as coisas organizadas. Defendo frequentemente o uso de R …

89 project-management 

Foi realizado algum estudo sobre qual o melhor conjunto de cores a ser usado para mostrar várias séries no mesmo gráfico? Acabei de usar os padrões matplotlib, e eles parecem um pouco infantis, pois são todas cores vivas e primárias.

89 data-visualization 

Eu tinha uma pergunta sobre como interpretar os gráficos gerados pelo gráfico (lm) em R. Eu queria saber se vocês poderiam me dizer como interpretar os gráficos de localização em escala e alavancagem-residual? Quaisquer comentários serão apreciados. Assumir conhecimentos básicos de estatística, regressão e econometria.

89 r  regression  data-visualization  residuals  outliers 

Não sou estatístico em educação, sou engenheiro de software. No entanto, as estatísticas surgem muito. De fato, perguntas específicas sobre o erro Tipo I e Tipo II estão surgindo muito no decorrer dos meus estudos para o exame Associado de Desenvolvimento de Software Certificado (matemática e estatística são 10% do …

88 terminology  type-i-and-ii-errors 

Aqui está como eu entendi os efeitos aleatórios aninhados x cruzados: Os efeitos aleatórios aninhados ocorrem quando um fator de nível inferior aparece apenas dentro de um nível específico de um fator de nível superior. Por exemplo, alunos dentro das aulas em um ponto fixo no tempo. Em lme4pensei que …

88 r  mixed-model  multilevel-analysis  lme4-nlme 

Existem algumas variações de como normalizar as imagens, mas a maioria parece usar esses dois métodos: Subtraia a média por canal calculada em todas as imagens (por exemplo, VGG_ILSVRC_16_layers ) Subtrair por pixel / canal calculado sobre todas as imagens (por exemplo , CNN_S , consulte também a rede de …

88 deep-learning  image-processing 

A distribuição gama pode assumir uma ampla variedade de formas e, dado o vínculo entre a média e a variação através de seus dois parâmetros, parece adequado para lidar com a heterocedasticidade em dados não negativos, de uma maneira que o OLS transformado em log pode sem o WLS ou …

88 generalized-linear-model  gamma-distribution