Estatísticas e Big Data

Recentemente, comecei a usar a validação cruzada de amostras de importância suavizada Pareto (PSIS-LOO), descrita nestes documentos: Vehtari, A. e Gelman, A. (2015). Pareto suavizou a amostragem de importância. pré-impressão do arXiv ( link ). Vehtari, A., Gelman, A. e Gabry, J. (2016). Avaliação prática do modelo bayesiano usando validação …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Deixe- X1,...,XnX1,...,XnX_1,...,X_n são observações independentes de uma distribuição que tem a média μμ\mu e a variância σ2&lt;∞σ2&lt;∞\sigma^2 < \infty , quando n→∞n→∞n \rightarrow \infty , então n−−√X¯n−μσ→N( 0 , 1 ) .nX¯n−μσ→N(0,1).\sqrt{n}\frac{\bar{X}_n-\mu}{\sigma} \rightarrow N(0,1). Por que isso implica que X¯n∼N( μ ,σ2n) ?X¯n∼N(μ,σ2n)?\bar{X}_n \sim N\left(\mu, \frac{\sigma^2}{n}\right)?

10 probability  central-limit-theorem 

Qual é a abordagem usual para modelar séries temporais binárias? Existe um papel ou um livro de texto onde isso é tratado? Penso em um processo binário com forte correlação automática. Algo como o sinal de um processo AR (1) iniciando em zero. Diga e com ruído branco . Em …

10 regression  time-series  logistic  binary-data  autoregressive 

Existe um teste de hipótese para determinar se uma variável dependente distribuída normalmente está associada a uma variável distribuída direcionalmente ? Por exemplo, se hora do dia é a variável explicativa (e supor que coisas como dia da semana, mês do ano etc. são irrelevantes) - é assim que se …

10 hypothesis-testing  modeling  circular-statistics 

O Support Vector Machines com kernel de função de base radial é um classificador supervisionado de uso geral. Embora conheça os fundamentos teóricos desses SVMs e seus pontos fortes, não conheço os casos em que eles são o método preferido. Então, existe uma classe de problemas para os quais os …

10 machine-learning  logistic  classification  svm  random-forest 

Eu já vi muitos casos em que erros do tipo I são contabilizados (indicados por um valor alfa) em vários artigos de pesquisa. Eu achei raro que um pesquisador levasse em consideração o poder ou o erro do tipo II. Erros do tipo II podem ser um grande problema, certo? …

10 hypothesis-testing  type-i-and-ii-errors 

Estou treinando uma regressão logística para prever quais corredores têm mais chances de terminar uma cansativa corrida de resistência. Muito poucos corredores completam esta corrida, então eu tenho um desequilíbrio severo de classe e uma pequena amostra de sucessos (talvez algumas dezenas). Sinto que consegui um bom "sinal" das dezenas …

10 logistic  binary-data  continuous-data 

O Teorema de Rao-Blackwell declara Seja um estimador de com para todos . Suponha que seja suficiente para e deixe Então, para todos , A desigualdade é estrita, a menos que seja uma função de θE( θ 2)&lt;∞θTθθ*=E( θ |T)θE(θ*-θ)2≤E( θ -θ)2 θ Tθ^θ^\hat{\theta}θθ\thetaE ( θ^2) &lt; ∞E(θ^2)&lt;∞\Bbb E (\hat{\theta}^2) …

10 rao-blackwell 

Como você explicaria o conceito de média, mediana e modo de uma lista de números e por que eles são importantes para alguém com apenas habilidades aritméticas básicas? Não vamos mencionar assimetria, CLT, tendência central, suas propriedades estatísticas, etc. Expliquei a alguém que isso significa apenas uma maneira rápida e …

10 mean  descriptive-statistics  median  mode 

Eu usei regressão logística. Eu tenho seis recursos, quero conhecer os recursos importantes neste classificador que influenciam o resultado mais do que outros recursos. Usei o Information Gain, mas parece que ele não depende do classificador usado. Existe algum método para classificar os recursos de acordo com sua importância com …

10 logistic  feature-selection  ranking  regression-strategies 

Estou lendo um livro sobre sabreetria, especificamente Mathletics de Wayne Winston, e no primeiro capítulo ele apresenta uma quantidade que pode ser usada para prever a taxa de vitórias das equipes: e ele parece sugerir que, no meio da temporada, ele pode ser usado para prever a taxa de vitóriamelhordo …

10 maximum-likelihood  inference 

Como você chamaria esse tipo de plot e é possível criá-los em R? EDIT: muito obrigado a todos - muito útil. Melhor título até agora: parcelas quantificadas de violino!

10 r  data-visualization 

No Wikidata, é possível vincular distribuições de probabilidade (como todo o resto) em uma ontologia, por exemplo, que a distribuição t é uma subclasse da distribuição t não central, veja, por exemplo, https://angryloki.github.io/wikidata-graph-builder/?property=P279&amp;item=Q209675&amp;iterations=3&amp;limit=3 Existem vários casos limitantes, por exemplo, quando os graus de liberdade na distribuição t chegam ao infinito …

10 distributions  normal-distribution  dirac-delta 

Ao realizar a regressão linear bayesiana, é preciso atribuir uma prévia para a pista de e interceptar b . Como b é um parâmetro de localização, faz sentido atribuir um uniforme anterior; no entanto, parece-me que a é semelhante a um parâmetro de escala e não parece natural atribuir um …

10 regression  bayesian  uninformative-prior 

Esta pergunta é do livro de Van der Vaart Asymptotic Statistics, pág. 253. # 3: Suponha que e sejam vetores multinomiais independentes com parâmetros e . Sob a hipótese nula de que mostra queXmXm\mathbf{X}_mYnYn\mathbf{Y}_n(m,a1,…,ak)(m,a1,…,ak)(m,a_1,\ldots,a_k)(n,b1,…,bk)(n,b1,…,bk)(n,b_1,\ldots,b_k)ai=biai=bia_i=b_i ∑i=1k(Xm,i−mc^i)2mc^i+∑i=1k(Yn,i−nc^i)2nc^i∑i=1k(Xm,i−mc^i)2mc^i+∑i=1k(Yn,i−nc^i)2nc^i\sum_{i=1}^k \dfrac{(X_{m,i} - m\hat{c}_i)^2}{m\hat{c}_i} + \sum_{i=1}^k \dfrac{(Y_{n,i} - n\hat{c}_i)^2}{n\hat{c}_i} possui . onde .c i = ( …

10 self-study  chi-squared  multinomial  central-limit-theorem