Estatísticas e Big Data

Se encaixarmos em um GAM como: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Onde, usamos o conjunto de dados College, que pode ser encontrado …

12 anova  gam 

Como construir um exemplo de uma distribuição de probabilidade para a qual mantém, assumindo ?E ( 1X )=1E ( X )E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)} P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 A desigualdade resultante da desigualdade de Jensen para um RV com valor positivo é como (a desigualdade inversa se ). Isso ocorre porque o mapeamento x \ mapsto …

12 probability  distributions  random-variable  expected-value 

EDIT: Estou mais interessado nas questões técnicas e na metodologia para determinar a probabilidade de um máximo "verdadeiro" em uma determinada população, dada uma estatística de amostra. Há problemas em estimar a probabilidade de corredores mais rápidos do que Bolt nos tempos recordes, que são óbvios e sutis. Me humor, …

12 normal-distribution  maximum 

Estou lendo Multivariable Model Building: Uma Abordagem Pragmática à Análise de Regressão Baseada em Polinômios Fracionários para Modelagem de Variáveis ​​Contínuas de Patrick Royston e Willie Sauerbrei. Até agora, estou impressionado e é uma abordagem interessante que não havia considerado antes. Mas os autores não lidam com dados ausentes. De …

12 regression  missing-data  fractional-polynomial 

É errado que os splines estejam disponíveis apenas nos modelos GAM, e não nos modelos GLM? Ouvi isso um tempo atrás, e me pergunto se isso é apenas um equívoco ou se tem alguma verdade. Aqui está uma ilustração:

12 generalized-linear-model  splines 

No livro de Gelman & Hill (2007) (Análise de dados usando regressão e modelos multiníveis / hierárquicos), os autores afirmam que a inclusão de parâmetros médios redundantes pode ajudar a acelerar o MCMC. O exemplo dado é um modelo não aninhado de "simulador de vôo" (Eq 13.9): yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i …

12 mcmc  hierarchical-bayesian  gibbs 

A função objetivo da Análise de Componentes Principais (PCA) é minimizar o erro de reconstrução na norma L2 (consulte a seção 2.12 aqui . Outra visão é tentar maximizar a variação na projeção. Também temos um excelente post aqui: Qual é a função objetivo do PCA ? ). Minha pergunta …

12 machine-learning  pca  optimization  convex 

Eu tenho um gráfico de dispersão que tem um tamanho de amostra igual ao número de pessoas no eixo xe salário médio no eixo y, estou tentando descobrir se o tamanho da amostra tem algum efeito no salário médio. Este é o enredo: Como interpreto esse enredo?

12 data-visualization  median  scatterplot  pandas 

As competições da Kaggle determinam a classificação final com base em um conjunto de testes realizado. Um conjunto de teste retido é uma amostra; pode não ser representativo da população que está sendo modelada. Como cada envio é como uma hipótese, o algoritmo que venceu a competição pode, por acaso, …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Existem várias postagens sobre como selecionar recursos. Um dos métodos descreve a importância do recurso com base nas estatísticas t. Em R varImp(model)aplicado no modelo linear com características padronizadas , o valor absoluto da estatística t para cada parâmetro do modelo é usado. Então, basicamente escolhemos um recurso com base …

12 regression  p-value  feature-selection 

Eu tenho uma trajetória de um objeto em um espaço 2D (uma superfície). A trajetória é dada como uma sequência de (x,y)coordenadas. Sei que minhas medições são barulhentas e às vezes tenho discrepâncias óbvias. Então, eu quero filtrar minhas observações. Tanto quanto eu entendi o filtro Kalman, ele faz exatamente …

12 python  kalman-filter  smoothing 

Qual é a melhor maneira de explicar por que o Precision+RecallPrecision+Recall\text{Precision} + \text{Recall} não é uma boa medida, digamos, em comparação com a F1?

12 precision-recall 

No R, tenho uma amostra de 348 medidas e quero saber se posso assumir que ela é normalmente distribuída para testes futuros. Essencialmente, seguindo outra resposta da pilha , estou analisando o gráfico de densidade e o gráfico QQ com: plot(density(Clinical$cancer_age)) qqnorm(Clinical$cancer_age);qqline(Clinical$cancer_age, col = 2) Eu não tenho uma forte …

12 r  normal-distribution 

Em um curso de aprendizado de máquina, aprendi que um uso comum do PCA ( Análise de Componentes Principais ) é acelerar outros algoritmos de aprendizado de máquina. Por exemplo, imagine que você está treinando um modelo de regressão logística. Se você tiver um conjunto de treinamento para i de …

12 machine-learning  pca 

Estudei regressão linear e tentei no conjunto abaixo {(x, y)}, em que x especificou a área da casa em metros quadrados e y especificou o preço em dólares. Este é o primeiro exemplo no Andrew Ng Notes . 2104.400 1600.330 2400.369 1416.232 3000.540 Eu desenvolvi um código de exemplo, mas …

12 regression  least-squares  gradient-descent  supervised-learning