Estatísticas e Big Data

Às vezes, vi livros didáticos se referirem ao segundo parâmetro na distribuição normal como desvio padrão e variação. Por exemplo, a variável aleatória X ~ N (0, 4). Não está claro se sigma ou sigma ao quadrado é igual a 4. Eu só quero descobrir a convenção geral usada quando …

16 distributions  normal-distribution 

Sejam X∼Dist(θX)X∼Dist(θX)X \sim \text{Dist}(\theta_X) e variáveis ​​aleatórias contínuas independentes geradas a partir da mesma forma de distribuição não especificada, mas com tolerância para diferentes valores de parâmetros. Estou interessado em encontrar um formulário de distribuição paramétrica para o qual a seguinte probabilidade de amostragem seja válida para todos os valores …

16 probability  distributions 

Qual foi a primeira derivação da distribuição normal, você pode reproduzir essa derivação e também explicá-la dentro de seu contexto histórico ? Quero dizer, se a humanidade se esquecesse da distribuição normal, qual seria a maneira mais provável de redescobri-la e qual seria a derivação mais provável? Suponho que as …

16 probability  distributions  normal-distribution  references  history 

Essa questão foi inspirada em duas interações recentes que eu tive, uma aqui no CV , a outra na economics.se. Lá, eu havia postado uma resposta no conhecido "Paradoxo do Envelope" (lembre-se, não como a "resposta correta", mas como a resposta decorrente de suposições específicas sobre a estrutura da situação). …

16 bayesian  mathematical-statistics  prior  theory  philosophical 

Dado três vectores de aaa , bbb , e ccc , é possível que as correlações entre aaa e bbb , aaa e ccc , e bbb e ccc são todos negativos? Ou seja, isso é possível? corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0corr(a,b)&lt;0corr(a,c)&lt;0corr(b,c)&lt;0\begin{align} \text{corr}(a,b) < 0\\ \text{corr}(a,c) < 0 \\ \text{corr}(b,c) < 0\\ \end{align}

16 correlation  correlation-matrix 

Acabei de encontrar o "critério de informação Akaike" e notei essa grande quantidade de literatura sobre seleção de modelos (também parecem existir coisas como o BIC). Por que os métodos contemporâneos de aprendizado de máquina não se beneficiam desses critérios de seleção de modelos BIC e AIC?

16 machine-learning  model-selection  aic  bic 

Estou tentando usar a perda ao quadrado para fazer a classificação binária em um conjunto de dados de brinquedo. Estou usando o mtcarsconjunto de dados, use milhas por galão e peso para prever o tipo de transmissão. O gráfico abaixo mostra os dois tipos de dados do tipo de transmissão …

16 r  machine-learning  logistic  optimization  loss-functions 

Fórmulas de modelo em R, como y ~ x + a*b + c:d são baseados na chamada notação de Wilkinson : Wilkinson e Rogers 1973, Descrição Simbólica de Modelos Fatoriais para Análise de Variância . Este artigo não discutiu notações para modelos mistos (que talvez não existissem na época). Então, …

16 r  mixed-model  lme4-nlme  notation  history 

Uma amostra populacional aleatória foi pesquisada. Eles foram perguntados se eles comem dieta vegetariana. Se eles responderam que sim, também foram solicitados a especificar por quanto tempo eles seguem a dieta vegetariana sem interrupção. Eu quero usar esses dados para calcular o tempo médio de adesão ao vegetarianismo. Em outras …

16 survival  mean  missing-data  survey  weighted-mean 

Embora os resultados do conjunto de testes privado não possam ser usados ​​para refinar ainda mais o modelo, a seleção de modelos não está sendo executada em um grande número de modelos com base nos resultados do conjunto de testes privados? Por esse processo, você não acabaria se adaptando ao …

16 model-selection  overfitting  out-of-sample 

Considere a variável aleatória gama . Existem fórmulas puras para média, variação e assimetria:X∼Γ(α,θ)X∼Γ(α,θ)X\sim\Gamma(\alpha, \theta) E[X]Var[X]Skewness[X]=αθ=αθ2=1/α⋅E[X]2=2/α−−√E[X]=αθVar⁡[X]=αθ2=1/α⋅E[X]2Skewness⁡[X]=2/α\begin{align} \mathbb E[X]&=\alpha\theta\\ \operatorname{Var}[X]&=\alpha\theta^2=1/\alpha\cdot\mathbb E[X]^2\\ \operatorname{Skewness}[X]&=2/\sqrt{\alpha} \end{align} Considere agora uma variável aleatória transformada em log . A Wikipedia fornece fórmulas para a média e a variação:Y=log(X)Y=log⁡(X)Y=\log(X) E[Y]Var[Y]=ψ(α)+log(θ)=ψ1(α)E[Y]=ψ(α)+log⁡(θ)Var⁡[Y]=ψ1(α)\begin{align} \mathbb E[Y]&=\psi(\alpha)+\log(\theta)\\ \operatorname{Var}[Y]&=\psi_1(\alpha)\\ \end{align} via funções digamma e …

16 gamma-distribution  skewness  logarithm 

Eu estava lendo um artigo e vi a seguinte frase: Para um determinado martingale, se ele tiver um limite superior ou inferior, o martingale deve convergir (como). Como a probabilidade é sempre não-negativa, 0 é um limite inferior. O que significa "as"? É um uso comum? Meu palpite é "assintoticamente", …

16 abbreviation 

Estou tentando entender melhor a perda de log e como ela funciona, mas uma coisa que não consigo encontrar é colocar o número da perda de log em algum tipo de contexto. Se meu modelo tiver uma perda de log de 0,5, isso é bom? O que é considerado uma …

16 machine-learning  loss-functions  log-loss 

Na maioria das vezes, quando as pessoas falam sobre transformações de variáveis ​​(para variáveis ​​preditivas e de resposta), elas discutem maneiras de tratar a assimetria dos dados (como transformação de log, transformação de caixa e cox etc.). O que não consigo entender é por que a remoção da assimetria é …

16 modeling  skewness 

O que é modelo nulo em regressão e qual a relação entre modelo nulo e hipótese nula? Para meu entendimento, isso significa Usando "média da variável de resposta" para prever a variável de resposta contínua? Usando a "distribuição de etiquetas" na previsão de variáveis ​​de resposta discretas? Se for esse …

16 regression  hypothesis-testing  classification  terminology  model