Estatísticas e Big Data

Esta pergunta foi feita no CV há alguns anos atrás, parece que vale a pena repensar à luz de 1) ordem de magnitude melhor tecnologia computacional (por exemplo, computação paralela, HPC etc) e 2) técnicas mais recentes, por exemplo [3]. Primeiro, algum contexto. Vamos supor que o objetivo não seja …

67 machine-learning  modeling  feature-selection  model-selection  prediction 

Diz na Wikipedia que: a matemática [da probabilidade] é amplamente independente de qualquer interpretação da probabilidade. Pergunta: Então, se queremos ser matematicamente corretos, não devemos proibir qualquer interpretação de probabilidade? Ou seja, o bayesiano e o freqüentismo são matematicamente incorretos? Não gosto de filosofia, mas gosto de matemática e quero …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Eu sou novo na Independent Component Analysis (ICA) e tenho apenas uma compreensão rudimentar do método. Parece-me que a ACI é semelhante à Análise Fatorial (FA), com uma exceção: a ACI assume que as variáveis ​​aleatórias observadas são uma combinação linear de componentes / fatores independentes que não são gaussianos, …

67 multivariate-analysis  factor-analysis  ica 

As redes neurais recorrentes diferem das "regulares" pelo fato de terem uma camada de "memória". Devido a essa camada, as NNs recorrentes devem ser úteis na modelagem de séries temporais. No entanto, não sei se entendi corretamente como usá-los. Digamos que possuo as seguintes séries temporais (da esquerda para a …

67 time-series  machine-learning  neural-networks 

Eu realmente nunca percebi a diferença entre essas duas medidas de convergência. (Ou, de fato, qualquer um dos diferentes tipos de convergência, mas menciono esses dois em particular por causa das Leis Fracas e Fortes de Grandes Números.) Claro, posso citar a definição de cada um e dar um exemplo …

67 probability  random-variable 

Tenho alguns dados ordinais obtidos com perguntas da pesquisa. No meu caso, são respostas no estilo Likert (discordo totalmente - discordo - neutro - concordo - concordo totalmente). Nos meus dados, eles são codificados como 1-5. Eu não acho que meios significaria muito aqui, então quais estatísticas resumidas básicas são …

67 descriptive-statistics  likert  ordinal-data 

Alguém sabe por que o deslocamento em uma regressão de Poisson é usado? O que você consegue com isso?

67 poisson-regression  offset 

A fórmula para variação da computação possui no denominador:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Eu sempre me perguntei o porquê. No entanto, ler e assistir a alguns bons vídeos sobre "por que" é, ao que parece, é um bom estimador imparcial da variação da população. Enquanto subestima e superestima …

67 variance  unbiased-estimator  proof  history 

Na análise de componentes principais (PCA), obtemos autovetores (vetores unitários) e autovalores. Agora, vamos definir loadings como Loadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Eu sei que os autovetores são apenas direções e cargas (como definido acima) também incluem variação ao longo dessas direções. Mas, para meu melhor entendimento, gostaria de saber …

67 pca 

Eu estava lendo sobre o kernel PCA ( 1 , 2 , 3 ) com núcleos gaussianos e polinomiais. Como o kernel gaussiano separa aparentemente qualquer tipo de dados não lineares excepcionalmente bem? Por favor, faça uma análise intuitiva, bem como uma análise matematicamente envolvida, se possível. O que é …

67 machine-learning  pca  svm  kernel-trick 

Estou fazendo alguns cálculos em diferentes matrizes (principalmente em regressão logística) e geralmente recebo o erro "Matrix is ​​singular", onde tenho que voltar e remover as variáveis ​​correlacionadas. Minha pergunta aqui é o que você consideraria uma matriz correlacionada "altamente"? Existe um valor limite de correlação para representar esta palavra? …

66 regression  correlation  matrix  multicollinearity  singular 

Estou vendo essa imagem passar muito. Tenho a sensação de que as informações fornecidas dessa maneira são incompletas ou até erradas, mas não sou versado o suficiente em estatística para responder. Isso me faz pensar nesta história em quadrinhos xkcd , que mesmo com dados históricos sólidos, certas situações podem …

66 probability  interpretation  prediction 

Eu tenho várias centenas de medições. Agora, estou pensando em utilizar algum tipo de software para correlacionar todas as medidas com todas as medidas. Isso significa que existem milhares de correlações. Entre eles, deve haver (estatisticamente) uma alta correlação, mesmo que os dados sejam completamente aleatórios (cada medida possui apenas …

66 correlation  multiple-comparisons  permutation-test 

Esta não é uma questão de trabalho doméstico, mas um problema real enfrentado por nossa empresa. Muito recentemente (há 2 dias), solicitamos a fabricação de 10000 etiquetas de produtos para um revendedor. Revendedor é uma pessoa independente. Ele recebe as etiquetas fabricadas de fora e a empresa faz o pagamento …

66 probability  bayesian  model  decision-theory 

Na maioria das tarefas de aprendizado de máquina, nas quais é possível formular alguma probabilidade que deve ser maximizada, na verdade, otimizaríamos a probabilidade do log vez da probabilidade para alguns parâmetros . Por exemplo, no treinamento de probabilidade máxima, geralmente é a probabilidade de log. Ao fazer isso com …

66 probability  optimization  log-likelihood