Estatísticas e Big Data

Eu tenho um conjunto de dados que possui dados contínuos e categóricos. Estou analisando usando o PCA e estou me perguntando se é bom incluir as variáveis ​​categóricas como parte da análise. Meu entendimento é que o PCA só pode ser aplicado a variáveis ​​contínuas. Isso está correto? Se não …

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

Estou treinando uma rede neural, mas a perda de treinamento não diminui. Como posso consertar isso? Não estou perguntando sobre ajuste excessivo ou regularização. Estou perguntando como resolver o problema em que o desempenho da minha rede não melhora no conjunto de treinamento . Essa questão é intencionalmente geral, de …

147 neural-networks  deep-learning 

Em vários contextos diferentes, invocamos o teorema do limite central para justificar qualquer método estatístico que desejamos adotar (por exemplo, aproximar a distribuição binomial de uma distribuição normal). Entendo os detalhes técnicos sobre por que o teorema é verdadeiro, mas agora me ocorreu que realmente não entendo a intuição por …

144 intuition  central-limit-theorem 

Eu aprendi R, mas parece que as empresas estão muito mais interessadas na experiência do SAS. Quais são as vantagens do SAS sobre o R?

143 r  sas 

O estado da arte da não linearidade é usar unidades lineares retificadas (ReLU) em vez da função sigmóide em redes neurais profundas. Quais são as vantagens? Sei que treinar uma rede quando o ReLU é usado seria mais rápido e com inspiração biológica, quais são as outras vantagens? (Ou seja, …

141 machine-learning  neural-networks  deep-learning 

Aqui está o artigo que motivou esta pergunta: A impaciência nos engorda? Gostei deste artigo e demonstra bem o conceito de "controle de outras variáveis" (QI, carreira, renda, idade etc.) para isolar melhor a verdadeira relação entre apenas as 2 variáveis ​​em questão. Você pode me explicar como você realmente …

141 regression  causality  confounding  controlling-for-a-variable  statistics-in-media 

É sempre uma boa ideia treinar com o conjunto de dados completo após a validação cruzada ? Dito de outra forma, é correto treinar com todas as amostras no meu conjunto de dados e não poder verificar se esse acessório específico se encaixa demais ? Alguns antecedentes sobre o problema: …

140 machine-learning  cross-validation  model-selection 

Eu recebi esta pergunta durante uma entrevista com a Amazon: 50% de todas as pessoas que recebem uma primeira entrevista recebem uma segunda entrevista 95% dos seus amigos que receberam uma segunda entrevista acharam que tinham uma boa primeira entrevista 75% dos seus amigos que NÃO fizeram uma segunda entrevista …

139 probability  conditional-probability 

Recentemente, este artigo recebeu muita atenção (por exemplo, do WSJ ). Basicamente, os autores concluem que o Facebook perderá 80% de seus membros até 2017. Eles baseiam suas alegações em uma extrapolação do modelo SIR , um modelo compartimental frequentemente usado em epidemiologia. Seus dados são extraídos das pesquisas do …

138 hypothesis-testing  correlation  epidemiology  social-network 

Eu tenho usado o KKK validação cruzada fold algumas vezes agora para avaliar o desempenho de alguns algoritmos de aprendizagem, mas eu sempre fui intrigado a respeito de como eu deveria escolher o valor de KKK . Eu sempre vi e usei um valor de K= 10K=10K = 10 , …

136 machine-learning  classification  cross-validation 

Hoje me perguntaram na aula por que você divide a soma do erro do quadrado por vez de com , ao calcular o desvio padrão.n−1n−1n-1nnn Eu disse que não vou responder na aula (já que não queria entrar em avaliadores imparciais), mas depois me perguntei - há uma explicação intuitiva …

136 standard-error  intuition  teaching  bessels-correction 

Atualmente, estou usando um SVM com um kernel linear para classificar meus dados. Não há erro no conjunto de treinamento. Tentei vários valores para o parâmetro ( 10 - 5 , … , 10 2 ). Isso não alterou o erro no conjunto de teste.CCC10- 5, ... , 10210-5,...,10210^{-5}, \dots, …

134 machine-learning  svm  libsvm 

Quais são as funções de custo comuns usadas na avaliação do desempenho de redes neurais? Detalhes (fique à vontade para pular o restante desta pergunta, minha intenção aqui é simplesmente fornecer esclarecimentos sobre a notação que as respostas podem usar para ajudá-las a serem mais compreensíveis para o leitor em …

133 machine-learning  neural-networks 

Eu tenho um conjunto de dados e gostaria de descobrir qual distribuição se ajusta melhor aos meus dados. Eu usei a fitdistr()função para estimar os parâmetros necessários para descrever a distribuição assumida (ou seja, Weibull, Cauchy, Normal). Usando esses parâmetros, posso realizar um Teste de Kolmogorov-Smirnov para estimar se meus …

133 r  distributions  goodness-of-fit  kolmogorov-smirnov  distribution-identification 

A situação Alguns pesquisadores gostariam de colocá-lo para dormir. Dependendo do sorteio secreto de uma moeda justa, eles o despertarão brevemente uma vez (cara) ou duas vezes (coroa). Após cada acordar, eles o colocam de volta no sono com uma droga que faz você esquecer esse despertar. Quando você é …

133 decision-theory  paradox