Estatísticas e Big Data

Estou lendo um artigo em que o autor descarta várias variáveis ​​devido à alta correlação com outras variáveis ​​antes de fazer o PCA. O número total de variáveis ​​é de cerca de 20. Isso oferece algum benefício? Parece uma sobrecarga para mim, pois o PCA deve lidar com isso automaticamente.

111 correlation  pca 

Suponha que eu queira ver se meus dados são exponenciais com base em um histograma (ou seja, inclinado para a direita). Dependendo de como agrupar ou agrupar os dados, posso obter histogramas totalmente diferentes. Um conjunto de histogramas fará parecer que os dados são exponenciais. Outro conjunto fará parecer que …

111 distributions  data-visualization  histogram  binning 

O aumento da árvore de gradiente, conforme proposto por Friedman, usa as árvores de decisão como aprendizes básicos. Gostaria de saber se devemos tornar a árvore de decisão básica o mais complexa possível (totalmente crescida) ou mais simples? Existe alguma explicação para a escolha? A floresta aleatória é outro método …

110 machine-learning  random-forest  cart  boosting  ensemble 

Eu tenho uma pergunta estranha. Suponha que você tenha uma pequena amostra em que a variável dependente que você analisará com um modelo linear simples é altamente inclinada para a esquerda. Assim, você assume que não é normalmente distribuído, porque isso resultaria em y distribuído normalmente . Mas quando você …

110 regression  residuals  error  normality-assumption 

Estou trabalhando em um pequeno projeto que envolve os rostos dos usuários do twitter através de suas fotos de perfil. Um problema que encontrei é que, depois de filtrar todas as imagens, exceto as fotos nítidas, uma porcentagem pequena, mas significativa, dos usuários do twitter usa uma foto de Justin …

110 machine-learning  clustering  image-processing 

Seguindo essa pergunta, como você explicaria a covariância para alguém que entende apenas a média? , que aborda a questão de explicar a covariância a uma pessoa leiga, levantou uma questão semelhante em minha mente. Como alguém explicaria a um neófito estatístico a diferença entre covariância e correlação ? Parece …

109 correlation  covariance 

A partir da função densidade de distribuição, podemos identificar uma média (= 0) para a distribuição Cauchy, como mostra o gráfico abaixo. Mas por que dizemos que a distribuição Cauchy não tem significado?

109 distributions  mathematical-statistics  mean  pdf  cauchy 

Como é que uma máquina de suporte vetorial (SVM) trabalho, eo que o diferencia de outros classificadores lineares, como o Perceptron Linear , Linear Análise discriminante , ou regressão logística ? * (* Estou pensando em termos das motivações subjacentes ao algoritmo, estratégias de otimização, recursos de generalização e complexidade …

108 machine-learning  classification  svm  statistical-learning 

Primeiro foi o Brexit , agora a eleição dos EUA. Muitas previsões de modelos tiveram uma margem ampla e existem lições a serem aprendidas aqui? Ainda às 16:00 PST de ontem, os mercados de apostas ainda favoreciam Hillary por 4 a 1. Entendo que os mercados de apostas, com dinheiro …

108 predictive-models  ensemble  confounding 

Aqui, o @gung faz referência à regra .632+. Uma pesquisa rápida no Google não fornece uma resposta fácil de entender sobre o significado dessa regra e com que finalidade ela é usada. Alguém esclareceria a regra .632+?

107 bootstrap 

Para uma dada matriz de dados (com variáveis ​​em colunas e pontos de dados em linhas), parece que desempenha um papel importante na estatística. Por exemplo, é uma parte importante da solução analítica dos mínimos quadrados comuns. Ou, para o PCA, seus autovetores são os principais componentes dos dados.A T …

107 matrix  covariance-matrix  correlation-matrix 

Muitos trabalhos estatísticos exigem experiência com dados em grande escala. Quais são os tipos de habilidades estatísticas e computacionais que seriam necessárias para trabalhar com grandes conjuntos de dados. Por exemplo, que tal construir modelos de regressão com um conjunto de dados com 10 milhões de amostras?

107 regression  machine-learning  multivariate-analysis  large-data 

Eu meio que entendo o que significa "sobreajustar", mas preciso de ajuda para descobrir um exemplo do mundo real que se aplique à sobreajuste.

107 overfitting 

Essa é uma pergunta geral que foi feita indiretamente várias vezes aqui, mas falta uma única resposta autoritativa. Seria ótimo ter uma resposta detalhada para isso para referência. A precisão , a proporção de classificações corretas entre todas as classificações, é uma medida muito simples e muito "intuitiva", mas pode …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Atualmente, estou fazendo o Udacity Deep Learning Tutorial. Na lição 3, eles falam sobre uma convolução 1x1. Essa convolução 1x1 é usada no Google Inception Module. Estou tendo problemas para entender o que é uma convolução 1x1. Eu também vi este post de Yann Lecun. Alguém poderia gentilmente me explicar …

106 neural-networks  deep-learning  convolution  conv-neural-network