Estatísticas e Big Data

Suponha que tenhamos uma variável aleatória XXX suportada em [0,1][0,1][0,1] partir da qual podemos extrair amostras. Como podemos chegar a uma estimativa imparcial da mediana de XXX ? É claro que podemos gerar algumas amostras e tirar a mediana da amostra, mas entendo que isso geralmente não será imparcial. Nota: …

16 sampling 

Uma distribuição Poisson pode medir eventos por unidade de tempo, e o parâmetro é λλ\lambda . A distribuição exponencial mede o tempo até o próximo evento, com o parâmetro 1λ1λ\frac{1}{\lambda} . Pode-se converter uma distribuição na outra, dependendo se é mais fácil modelar eventos ou horários. Agora, um gamma-poisson é …

16 poisson-distribution  negative-binomial  gamma-distribution  exponential-family 

Eu tenho um conjunto completo de seqüências (432 observações para ser mais preciso) de 4 estados : por exemploA−DA−DA-D Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ …

16 r  matlab  markov-process 

Eu tenho usado IRLS (mínimos quadrados ponderados) iterativamente para minimizar as funções do seguinte formulário, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) onde é o número de instâncias de x_i \ in \ mathbb {R} , m \ in \ mathbb {R} é a estimativa robusta que eu …

16 estimation  least-squares  robust  irls 

Eu tenho um conjunto de dados que consiste em uma série de contagens de casos mensais "quebradas" de vários sites. Estou tentando obter uma única estimativa resumida de duas técnicas diferentes: Técnica 1: Ajuste um "bastão quebrado" com um Poisson GLM com uma variável indicadora 0/1 e use uma variável …

16 time-series  mixed-model 

Eu sou um novato em estatísticas e encontrei isso . Nas estatísticas, θ, a letra grega minúscula 'theta', é o nome usual para um (vetor de) parâmetro (s) de alguma distribuição de probabilidade geral. Um problema comum é encontrar o (s) valor (es) de teta. Observe que não há sentido …

16 terminology 

Eu tenho duas variáveis ​​aleatórias, que é a distribuição uniforme de 0-1.αi∼iid U(0,1),i=1,2αi∼iid U(0,1),i=1,2\alpha_i\sim \text{iid }U(0,1),\;\;i=1,2U(0,1)U(0,1)U(0,1) Então, eles produzem um processo, digam: P(x)=α1sin(x)+α2cos(x),x∈(0,2π)P(x)=α1sin⁡(x)+α2cos⁡(x),x∈(0,2π)P(x)=\alpha_1\sin(x)+\alpha_2\cos(x), \;\;\;x\in (0,2\pi) Agora, eu queria saber se existe uma expressão de forma fechada para o quantil teórico de 75% de para um dado --i suponho que eu …

16 distributions  probability  stochastic-processes 

Eu tenho um conjunto de dados de 120 amostras em uma configuração de validação cruzada de 10 vezes. Atualmente, eu escolho os dados de treinamento do primeiro holdout e faço uma validação cruzada 5 vezes para escolher os valores de gama e C pela pesquisa em grade. Estou usando o …

16 machine-learning  classification  cross-validation  svm 

Deixe Λ∼WD(ν,Ψ)Λ∼WD(ν,Ψ)\Lambda \sim \mathcal W_D(\nu, \Psi) , isto é, distribuídas de acordo com uma D×DD×DD \times D distribuição dimensional com Wishart significativo e graus de liberdade . Gostaria de uma expressão para queé o determinante.νΨνΨ\nu \PsiE ( log | Λ | ) | Ganhe muitos |νν\nuE(log|Λ|)E(log⁡|Λ|)E(\log |\Lambda|)|Λ||Λ||\Lambda| Eu pesquisei um …

16 distributions  wishart 

Seja a probabilidade simplex da dimensão , ou seja, é tal que e .ΔKΔK\Delta_{K}K- 1K-1K-1x ∈ ΔKx∈ΔKx \in \Delta_{K}xEu≥ 0xEu≥0 0x_i \ge 0∑EuxEu= 1∑EuxEu=1\sum_i x_i = 1 Quais distribuições que são frequentemente (ou conhecidas ou definidas no passado) sobre existem?ΔKΔK\Delta_{K} Claramente, existem as distribuições Dirichlet e Logit-Normal. Existem outras distribuições …

16 distributions  multinomial  compositional-data 

Estou lidando com um problema de classificação binária supervisionada. Eu gostaria de usar o pacote GBM para classificar os indivíduos como não infectados / infectados. Eu tenho 15 vezes mais não infectado do que indivíduos infectados. Eu queria saber se os modelos GBM sofrem no caso de tamanhos de classe …

16 r  machine-learning  boosting  unbalanced-classes  gbm 

Ao ler as postagens neste site, sei que há uma função R auto.arima(no forecast pacote ). Sei também que o IrishStat , membro deste site, criou o autobox do pacote comercial no início dos anos 80. Como esses dois pacotes existem hoje e selecionam automaticamente modelos de arima para determinados …

16 time-series  arima  automatic-algorithms 

Estou aprendendo sobre o Processo Gaussiano e ouvi apenas alguns trechos. Realmente apreciaria comentários e respostas. Para qualquer conjunto de dados, é verdade que uma aproximação de função do Processo Gaussiano daria erro de ajuste zero ou desprezível nos pontos de dados? Em outro lugar, também ouvi dizer que o …

16 gaussian-process 

Este link da Wikipedia lista uma série de técnicas para detectar a heterocedasticidade dos resíduos de OLS. Eu gostaria de aprender qual técnica prática é mais eficiente na detecção de regiões afetadas pela heterocedasticidade. Por exemplo, aqui a região central do gráfico OLS 'Residuals vs Fitted' parece ter uma variação …

16 regression  least-squares  heteroscedasticity 

Eu tenho usado o MCMCglmmpacote recentemente. Estou confuso com o que é referido na documentação como estrutura R e estrutura G. Eles parecem estar relacionados aos efeitos aleatórios - em particular especificando os parâmetros para a distribuição anterior sobre eles, mas a discussão na documentação parece assumir que o leitor …

16 r  bayesian  mixed-model  lme4-nlme