Estatísticas e Big Data

Na aula de reconhecimento de padrões de hoje, meu professor falou sobre PCA, autovetores e autovalores. Eu entendi a matemática disso. Se me pedem para encontrar valores próprios, etc., farei isso corretamente como uma máquina. Mas eu não entendi . Eu não entendi o propósito disso. Eu não tive a …

976 pca  intuition  eigenvalues  canonical-question 

Existe um método padrão e aceito para selecionar o número de camadas e o número de nós em cada camada em uma rede neural feed-forward? Estou interessado em maneiras automatizadas de construir redes neurais.

541 model-selection  neural-networks 

A página da wikipedia afirma que probabilidade e probabilidade são conceitos distintos. Na linguagem não técnica, "probabilidade" é geralmente sinônimo de "probabilidade", mas no uso estatístico há uma clara distinção de perspectiva: o número que é a probabilidade de alguns resultados observados, dado um conjunto de valores de parâmetros, é …

474 probability  likelihood 

Disclaimer: Eu não sou um estatístico, mas um engenheiro de software. A maior parte do meu conhecimento em estatística vem da auto-educação, portanto ainda tenho muitas lacunas na compreensão de conceitos que podem parecer triviais para outras pessoas aqui. Ficaria muito grato se as respostas incluíssem termos menos específicos e …

438 distributions  beta-distribution  intuition  beta-binomial 

Achei isso confuso quando uso a caixa de ferramentas de redes neurais no Matlab. Ele dividiu o conjunto de dados brutos em três partes: conjunto de treinamento conjunto de validação Conjunto de teste Percebo que em muitos algoritmos de treinamento ou aprendizado, os dados geralmente são divididos em duas partes, …

431 machine-learning  validation 

No ano passado, li uma postagem de Brendan O'Connor no blog intitulada "Estatística versus aprendizado de máquina, lute!" que discutiu algumas das diferenças entre os dois campos. Andrew Gelman respondeu favoravelmente a isso : Simon Blomberg: Do pacote da sorte de R: Parafraseando provocativamente, 'aprendizado de máquina é estatística menos …

420 machine-learning  pac-learning 

Na definição do desvio padrão, por que nós temos que conciliar a diferença da média para obter a média (E) e tomar a raiz quadrada de volta no final? Não podemos simplesmente pegar o valor absoluto da diferença e obter o valor esperado (médio) desses, e isso também não mostraria …

408 standard-deviation  definition 

K-means é um método amplamente utilizado na análise de agrupamentos. No meu entendimento, esse método NÃO requer QUALQUER suposição, ou seja, me forneça um conjunto de dados e um número pré-especificado de clusters, k, e apenas aplico esse algoritmo que minimiza a soma dos erros ao quadrado (SSE), o cluster …

365 machine-learning  clustering  data-mining  k-means 

Muitas pessoas usam uma ferramenta principal como o Excel ou outra planilha, SPSS, Stata ou R para suas necessidades estatísticas. Eles podem recorrer a algum pacote específico para necessidades muito especiais, mas muitas coisas podem ser feitas com uma planilha simples ou um pacote geral de estatísticas ou um ambiente …

355 r  spss  stata  python 

A análise de componentes principais (PCA) é geralmente explicada por meio de uma decomposição por si própria da matriz de covariância. No entanto, também pode ser realizado via decomposição de valor singular (SVD) da matriz de dados XX\mathbf X . Como funciona? Qual é a conexão entre essas duas abordagens? …

352 pca  dimensionality-reduction  matrix  svd 

Este é um dos meus favoritos: Uma entrada por resposta. (Isso está na linha da pergunta Stack Overflow) Qual é o seu desenho animado favorito de “programador”?. ) PS Não vincule o desenho animado sem a permissão do site.

343 humor 

Como você descreveria em inglês simples as características que distinguem o raciocínio Bayesiano do Frequentista?

340 bayesian  frequentist 

Recentemente, usei o bootstrap para estimar intervalos de confiança para um projeto. Alguém que não conhece muito de estatística recentemente me pediu para explicar por que o bootstrapping funciona, ou seja, por que é que reamostrar a mesma amostra repetidamente para obter bons resultados. Percebi que, embora tenha passado muito …

326 bootstrap  communication 

Suponha que tenhamos um conjunto de dados com pontos. Queremos realizar uma regressão linear, mas primeiro classificamos os valores e independentemente um do outro, formando um conjunto de dados . Existe alguma interpretação significativa da regressão no novo conjunto de dados? Isso tem um nome?n X i Y i ( …

302 regression  correlation 

Qual é a diferença entre o modelo Logit e Probit ? Estou mais interessado aqui em saber quando usar a regressão logística e quando usar o Probit. Se houver alguma literatura que o defina usando R , isso também seria útil.

299 r  generalized-linear-model  logistic  probit  link-function