Estatísticas e Big Data

Em seu livro "All of Statistics", o Prof. Larry Wasserman apresenta o seguinte Exemplo (11.10, página 188). Suponha que temos uma densidade tal que , onde é uma função conhecida (não-negativa, integrável) e a constante de normalização é desconhecida .f ( x ) = Cfffg c > 0f( x ) …

62 bayesian  mathematical-statistics 

Eu sei empiricamente que é o caso. Acabei de desenvolver modelos que se deparam com esse dilema. Eu também suspeito que não é necessariamente uma resposta sim / não. Quero dizer com isso, se A e B estão correlacionados com C, isso pode ter alguma implicação em relação à correlação …

62 correlation  cross-correlation 

É (sempre) verdade que Var(∑i=1mXi)=∑i=1mVar(Xi)?Var(∑i=1mXi)=∑i=1mVar(Xi)?\mathrm{Var}\left(\sum\limits_{i=1}^m{X_i}\right) = \sum\limits_{i=1}^m{\mathrm{Var}(X_i)} \>?

62 variance 

Estou prestes a apresentar a tabela normal padrão na minha aula de estatística introdutória, e isso me fez pensar: quem criou a primeira tabela normal padrão? Como eles fizeram isso antes da chegada dos computadores? Estremeço ao pensar em alguém de força bruta calculando mil somas de Riemann à mão.

61 normal-distribution  algorithms  history  tables 

Entendo que o prior de Jeffreys é invariável sob uma parametrização. No entanto, o que não entendo é por que essa propriedade é desejada. Por que você não gostaria que o anterior fosse alterado sob uma alteração de variáveis?

61 bayesian  prior 

O título do Comentário na Nature Scientists se defronta com a significância estatística começa com: Valentin Amrhein, Sander Greenland, Blake McShane e mais de 800 signatários pedem o fim de reivindicações sensatas e a rejeição de possíveis efeitos cruciais. e depois contém instruções como: Novamente, não estamos defendendo a proibição …

61 statistical-significance  p-value  bias 

Sou bastante evangelístico no que diz respeito ao uso de razões de probabilidade para representar a evidência objetiva a favor / contra um determinado fenômeno. No entanto, aprendi recentemente que o fator Bayes desempenha uma função semelhante no contexto dos métodos bayesianos (isto é, o prior subjetivo é combinado com …

61 likelihood-ratio  bayes-factors 

Quando você está tentando ajustar modelos a um grande conjunto de dados, o conselho comum é particionar os dados em três partes: o conjunto de dados de treinamento, validação e teste. Isso ocorre porque os modelos geralmente têm três "níveis" de parâmetros: o primeiro "parâmetro" é a classe do modelo …

61 machine-learning  model-selection  data-mining 

Na literatura sobre modelos hierárquicos / multiníveis, eu sempre li sobre "modelos aninhados" e "modelos não aninhados", mas o que isso significa? Alguém poderia me dar alguns exemplos ou me contar sobre as implicações matemáticas desse fraseado?

61 hypothesis-testing  terminology  nested-models  nested-data 

A temporada de férias me deu a oportunidade de me aconchegar ao lado do fogo com Os elementos do aprendizado estatístico . Vindo de uma perspectiva econométrica (freqüentista), estou tendo problemas para entender os usos de métodos de encolhimento, como regressão de cume, laço e regressão de menor ângulo (LAR). …

61 lasso  ridge-regression  shrinkage  lars 

Vejo que muitos algoritmos de aprendizado de máquina funcionam melhor com cancelamento médio e equalização de covariância. Por exemplo, as Redes Neurais tendem a convergir mais rapidamente, e o K-Means geralmente oferece melhores agrupamentos com recursos pré-processados. Não vejo a intuição por trás dessas etapas de pré-processamento levar a um …

61 machine-learning  neural-networks  covariance  normalization 

É possível ter uma equação de regressão (múltipla) com duas ou mais variáveis ​​dependentes? Claro, você pode executar duas equações de regressão separadas, uma para cada DV, mas isso não parece capturar qualquer relação entre os dois DVs?

61 regression 

O cluster hierárquico pode ser representado por um dendograma. Cortar um dendrograma em um determinado nível fornece um conjunto de clusters. Cortar em outro nível fornece outro conjunto de clusters. Como você escolheria onde cortar o dendrograma? Existe algo que poderíamos considerar um ponto ideal? Se eu olhar um dendrograma …

61 clustering  dendrogram 

É uma prática comum aplicar o PCA (análise de componentes principais) antes de um algoritmo de armazenamento em cluster (como k-means). Acredita-se que melhora os resultados do agrupamento na prática (redução de ruído). No entanto, estou interessado em um estudo comparativo e aprofundado da relação entre PCA e k-médias. Por …

61 clustering  pca  k-means 

Estou tentando usar um modelo LASSO para previsão e preciso estimar erros padrão. Certamente alguém já escreveu um pacote para fazer isso. Mas, até onde posso ver, nenhum dos pacotes no CRAN que fazem previsões usando um LASSO retornará erros padrão para essas previsões. Portanto, minha pergunta é: Existe um …

60 r  standard-error  prediction  lasso