Detecção de outlier em distribuições beta

Digamos que eu tenha uma grande amostra de valores em . Gostaria de estimar a distribuição subjacente . A maioria das amostras vem dessa distribuição assumida , enquanto o restante são discrepantes que eu gostaria de ignorar na estimativa de e . $[0,1]$ $\text{Beta}(\alpha, \beta)$ $\text{Beta}(\alpha, \beta)$ $\alpha$ $\beta$

Qual é uma boa maneira de proceder sobre isso?

A padrão: usada nos boxplots seria uma aproximação ruim? $\text{Inliers} = \left\{x \in [Q1 - 1.5\, \text{IQR}, Q3 + 1.5 \,\text{IQR}] \right\}$

Qual seria uma maneira mais fundamentada de resolver isso? Existem prévias específicas em e que funcionariam bem nesse tipo de problema? $\alpha$ $\beta$

insira a descrição da imagem aqui

outliers pymc beta-distribution

— Amelio Vazquez-Reina
fonte

considere a resposta postada aqui . Depois que os outliers forem sinalizados, remova-os e use o ajuste de distribuição do MLE nas observações restantes. Será mais preciso pelos motivos explicados no link.

— User603 14/05

Uma maneira mais sistemática de lidar com esse problema seria usar um modelo explícito de mistura, com uma especificação da distribuição dos 'outliers'. Uma forma simples seria usar uma mistura de uma distribuição beta (para os pontos em que você está interessado) e uma distribuição uniforme (para os 'outliers'). Ao modelar os dados como uma distribuição de mistura, você pode obter estimativas de e que automaticamente levam em consideração o fato de que alguns dos pontos podem ser discrepantes. $\alpha$ $\beta$

Para resolver esse problema usando um modelo de mistura, seja a probabilidade de um 'outlier' e assuma que você tenha os valores IID . A função de probabilidade para os dados observados é: $\phi$ $X_1, ..., X_n \sim \phi \cdot \text{U}(0, 1) + (1- \phi) \cdot \text{Beta}(\alpha, \beta)$

L_{x} (α, β, ϕ) = \prod_{i = 1}^{n} (ϕ + (1 - ϕ) \frac{Γ (α + β)}{Γ (α) Γ (β)} x_{i}^{α - 1} (1 - x_{i})^{β - 1}) .

$L_\boldsymbol{x}(\alpha, \beta, \phi) = \prod_{i=1}^n \left( \phi + (1 - \phi) \frac{\Gamma (\alpha + \beta)}{\Gamma(\alpha) \Gamma(\beta)} x_i^{\alpha - 1} (1-x_i)^{\beta - 1} \right).$

Você pode prosseguir a partir daqui usando MLE clássico ou estimativa bayesiana. Qualquer um exigirá técnicas numéricas. Tendo estimado os três parâmetros no modelo, você teria uma estimativa de e que incorpora automaticamente a possibilidade de discrepâncias. Você também teria uma estimativa da proporção de discrepantes do modelo de mistura. $\alpha$ $\beta$

— Ben - Restabelecer Monica
fonte