Estatísticas e Big Data

A Austrália está atualmente tendo uma eleição e, compreensivelmente, a mídia relata novos resultados de pesquisas políticas diariamente. Em um país de 22 milhões, que porcentagem da população precisaria ser amostrada para obter um resultado estatisticamente válido? É possível que o uso de uma amostra muito grande possa afetar os …

15 sample-size  polling 

Fechado . Esta questão é baseada em opiniões . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela possa ser respondida com fatos e citações editando esta postagem . Fechado há 3 anos . Regras: um classificador por resposta vote se você concorda …

15 machine-learning  classification  application 

Na minha área de pesquisa, uma maneira popular de exibir dados é usar uma combinação de um gráfico de barras com "guias". Por exemplo, O "guidão" alterna entre erros padrão e desvios padrão, dependendo do autor. Normalmente, os tamanhos das amostras para cada "barra" são bastante pequenos - cerca de …

15 data-visualization 

A troca de etiquetas (ou seja, a distribuição posterior é invariável à troca de etiquetas de componentes) é um problema problemático ao usar o MCMC para estimar modelos de mistura. Existe uma metodologia padrão (como amplamente aceita) para lidar com o problema? Se não houver uma abordagem padrão, quais são …

15 bayesian  mcmc  mixture 

Há um tempo, um usuário da lista de discussão R-help perguntou sobre a integridade do uso de pontuações PCA em uma regressão. O usuário está tentando usar algumas pontuações do PC para explicar a variação em outro PC (consulte a discussão completa aqui ). A resposta foi que não, isso …

15 regression  pca 

Pelo que entendi, as escolas do Reino Unido ensinam que o desvio padrão é encontrado usando: Considerando que as escolas dos EUA ensinam: (em um nível básico de qualquer maneira). Isso causou vários problemas aos meus alunos no passado, enquanto eles procuravam na Internet, mas encontraram a explicação errada. Por …

15 standard-deviation  error  teaching  unbiased-estimator 

Eu acho que já entendi a definição matemática de um estimador consistente. Corrija-me se eu estiver errado: WnWnW_n é um estimador consistente para ifθθ\theta∀ϵ>0∀ϵ>0\forall \epsilon>0 limn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θlimn→∞P(|Wn−θ|>ϵ)=0,∀θ∈Θ\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta Onde, ΘΘ\Theta é o Espaço Paramétrico. Mas quero entender a necessidade de um estimador …

15 estimation  consistency 

Estou lendo um livro Gaussian Process for Machine Learning de CE Rasmussen e CKI Williams e estou tendo alguns problemas para entender o que significa distribuição por funções . No livro, é dado um exemplo, de que se deve imaginar uma função como um vetor muito longo (de fato, deve …

15 distributions  gaussian-process 

À medida que nos aprofundamos na literatura das Redes Neurais , conseguimos identificar outros métodos com topologias neuromórficas (arquiteturas semelhantes à "Rede Neural"). E não estou falando do Teorema da Aproximação Universal . Exemplos são dados abaixo. Então, isso me faz pensar: qual é a definição de uma rede neural …

15 machine-learning  neural-networks  deep-learning  unsupervised-learning  supervised-learning 

Esta pergunta faz referência ao artigo de Galit Shmueli, "Explicar ou prever" . Especificamente, na seção 1.5, "Explicar e prever são diferentes", o professor Shmueli escreve: Na modelagem explicativa, o foco é minimizar o viés para obter a representação mais precisa da teoria subjacente. Isso me intrigou cada vez que …

15 predictive-models  inference  bias  unbiased-estimator  explanatory-models 

Eu li os livros mais populares da aprendizagem estatística 1- Os elementos da aprendizagem estatística. 2- Uma introdução à aprendizagem estatística . Ambos mencionam que a regressão de crista tem duas fórmulas equivalentes. Existe uma prova matemática compreensível desse resultado? Também passei pelo Cross Validated , mas não consigo encontrar …

15 regression  lasso  regularization  ridge-regression  lagrange-multipliers 

Não encontrei uma resposta satisfatória para isso no google . Obviamente, se os dados que tenho são da ordem de milhões, então o aprendizado profundo é o caminho. E li que, quando não tenho big data, talvez seja melhor usar outros métodos no aprendizado de máquina. A razão apresentada é …

15 regression  machine-learning  classification  neural-networks  deep-learning 

Pergunta: Quais são as principais diferenças e semelhanças entre o uso de erros padrão de Newey-West (1987) e Hansen-Hodrick (1980)? Em quais situações uma delas deve ser preferida à outra? Notas: Eu sei como cada um desses procedimentos de ajuste funciona; no entanto, ainda não encontrei nenhum documento que os …

15 regression  autocorrelation  heteroscedasticity  robust-standard-error  neweywest 

Estou tentando aprender a usar redes neurais. Eu estava lendo este tutorial . Depois de ajustar uma rede neural em uma série temporal usando o valor em para prever o valor em t + 1, o autor obtém o seguinte gráfico, onde a linha azul é a série temporal, o …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

Questões Depende se a árvore é rasa ou profunda? Ou podemos dizer isso independentemente da profundidade / níveis da árvore? Por que o viés é baixo e a variância é alta? Por favor, explique intuitivamente e matematicamente

15 machine-learning  variance  covariance  cart  bias