Estatísticas e Big Data

Nota: Estou ciente das diferenças filosóficas entre as estatísticas bayesianas e as freqüentadoras. Por exemplo, "qual é a probabilidade de a moeda na mesa ser cara" não faz sentido nas estatísticas freqüentistas, já que ela já caiu na cara ou coroa - não há nada probabilístico nela. Portanto, a pergunta …

54 bayesian  frequentist 

Eu sou novo na seleção de recursos e estava pensando em como você usaria o PCA para executar a seleção de recursos. O PCA calcula uma pontuação relativa para cada variável de entrada que você pode usar para filtrar variáveis ​​de entrada não informativas? Basicamente, desejo poder solicitar os recursos …

54 r  pca  feature-selection 

Trabalho com R há algum tempo e já me deparei com coisas como decomposições de PCA, SVD, QR e muitos desses resultados de álgebra linear (ao inspecionar estimativas de regressões ponderadas e outras), então eu queria saber se alguém tem uma recomendação sobre um bom livro abrangente de álgebra linear …

54 references  matrix  linear-algebra  weighted-regression 

Ou mais ainda "será"? O Big Data torna as estatísticas e os conhecimentos relevantes ainda mais importantes, mas parece subestimar a teoria de amostragem. Eu já vi esse hype em torno de 'Big Data' e não posso deixar de pensar que "por que" eu gostaria de analisar tudo ? Não …

54 sampling  data-mining  large-data 

Encontramos os centros de cluster e atribuímos pontos a k diferentes compartimentos de cluster no cluster k-means, que é um algoritmo muito conhecido e é encontrado quase em todos os pacotes de aprendizado de máquina da rede. Mas a parte que falta e mais importante na minha opinião é a …

54 clustering  k-means 

Costumo ouvir que testes post hoc após uma ANOVA só podem ser usados ​​se a própria ANOVA for significativa. No entanto, testes post hoc ajustam os valores de para manter a taxa de erro global do tipo I em 5%, não é?ppp Então, por que precisamos primeiro do teste global? …

54 anova  statistical-significance  post-hoc 

O que é um estimador do desvio padrão do desvio padrão se a normalidade dos dados puder ser assumida?

54 estimation  standard-deviation  normality-assumption 

Vamos supor que você seja um pesquisador / economista de ciências sociais tentando encontrar preditores relevantes de demanda por um serviço. Você tem duas variáveis ​​dependentes / de resultado que descrevem a demanda (usando o serviço sim / não e o número de ocasiões). Você tem 10 variáveis ​​preditoras / …

54 regression  multivariate-analysis  predictive-models  multiple-regression  multiple-comparisons 

Eu perguntei isso anteriormente no StackOverflow, mas parece que pode ser mais apropriado aqui, já que não obteve respostas no SO. É uma espécie de cruzamento entre estatística e programação. Preciso escrever algum código para fazer o PCA (Principal Component Analysis). Naveguei pelos algoritmos conhecidos e implementei este , que, …

54 pca  algorithms  model-evaluation  high-dimensional 

O que é uma boa introdução à estatística para um matemático que já é bem versado em probabilidade? Tenho duas motivações distintas para perguntar, o que pode muito bem levar a sugestões diferentes: Eu gostaria de entender melhor a motivação estatística por trás de muitos problemas considerados pelos probabilistas. Gostaria …

54 references 

Uma pergunta anteriormente buscava recomendações para livros didáticos sobre estatística matemática Alguém conhece alguma boa aula de vídeo online sobre estatística matemática ? Os mais próximos que encontrei são: Aprendizado de Máquina Econometria ATUALIZAÇÃO: várias sugestões mencionadas abaixo são boas estatísticas - vídeos do tipo 101. No entanto, estou pensando …

54 mathematical-statistics  references 

Parece que é possível obter resultados semelhantes a uma rede neural com regressão linear multivariada em alguns casos, e a regressão linear multivariada é super rápida e fácil. Sob quais circunstâncias as redes neurais podem dar melhores resultados do que a regressão linear multivariada?

54 regression  multiple-regression  neural-networks 

Eu li muito sobre o PCA, incluindo vários tutoriais e perguntas (como este , este , este e este ). O problema geométrico que o PCA está tentando otimizar é claro para mim: o PCA tenta encontrar o primeiro componente principal minimizando o erro de reconstrução (projeção), que maximiza simultaneamente …

54 pca  optimization  linear-algebra  intuition 

Para mim, parece que a validação de espera é inútil. Ou seja, dividir o conjunto de dados original em duas partes (treinamento e teste) e usar a pontuação do teste como uma medida de generalização é um tanto inútil. A validação cruzada da dobra K parece fornecer melhores aproximações de …

54 machine-learning  cross-validation  validation 

Li no meu livro que não garante que X e Y sejam independentes. Mas se são independentes, sua covariância deve ser 0. Ainda não consegui pensar em nenhum exemplo adequado; alguém poderia fornecer um?cov ( X, Y) = 0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence  covariance