Estatísticas e Big Data

Deixei XiXiX_i ser uma variável aleatória iid com pdf f(x|θ)f(x|θ)f(\mathbf{x}|\theta), Onde E(Xi)=6θ2E(Xi)=6θ2E(X_i) = 6\theta^2e θ>0θ>0\theta > 0. Eu calculei um estimador para o parâmetro (θθ\theta) do f(x|θ)f(x|θ)f(\mathbf{x}|\theta) ser estar θ^=x¯/6−−−√θ^=x¯/6\hat{\theta} = \sqrt{\bar{x}/6}. Para provar que este é um estimador imparcial, devo provar queE(θ^)=E(x¯/6−−−√)E(θ^)=E(x¯/6)E(\hat{\theta}) = E\left(\sqrt{\bar{x}/6}\right). No entanto, desdeθ^2=x¯/6θ^2=x¯/6\hat{\theta}^2 = \bar{x}/6, …

7 self-study  mathematical-statistics  inference  unbiased-estimator 

Estou usando vários algoritmos de cluster do sklearn para agrupar alguns dados e não consigo descobrir o que está acontecendo com o DBSCAN. Meus dados são uma matriz de termos de documento do TfidfVectorizer, com algumas centenas de documentos pré-processados. Código: tfv = TfidfVectorizer(stop_words=STOP_WORDS, tokenizer=StemTokenizer()) data = tfv.fit_transform(dataset) db = …

7 clustering  scikit-learn  text-mining  dbscan 

Qual é a diferença entre normalizando as variáveis ​​e fazendo PCA; usando a scale=TRUEopção (sem normalizar as variáveis) na prcompfunção em R?

7 r  pca 

É claro para mim, pela inspeção, que se corrigirmos (assim, fixar a média) e deixar , a distribuição Beta se aproxima de um Bernoulli ( ) distribuição.β=1−μμαβ=1−μμα\beta = \frac{1-\mu}{\mu} \alphaα→0α→0\alpha \rightarrow 0μμ\mu Por exemplo: par(mfrow = c(1, 2), oma = c(0, 0, 1.5, 0)) xx = seq(0, 1, length.out = …

7 convergence  beta-distribution  bernoulli-distribution 

Esse é um problema que me atormenta há muito tempo e não encontrei boas respostas em livros didáticos, no Google ou no Stack Exchange. Eu tenho um conjunto de dados de> 100.000 pacientes para os quais quatro tratamentos estão sendo comparados. A questão da pesquisa é se a sobrevivência é …

7 survival  cox-model  proportional-hazards 

As informações de Fisher são definidas de duas maneiras equivalentes: como a variação da inclinação de e como o negativo da curvatura esperada de . Como o primeiro é sempre positivo, isso implicaria que a curvatura da função de probabilidade de logaritmo é negativa em todos os lugares. Isso me …

7 maximum-likelihood  likelihood  fisher-information 

A inferência é baseada em um modelo completo e, em caso afirmativo, em que circunstâncias? Suponha que você esteja interessado no relacionamento potencial entre uma variável de resposta e várias variáveis ​​preditoras de candidatos e use alguma forma de regressão (por exemplo, modelo linear generalizado) para responder a isso. Uma …

7 regression  generalized-linear-model  model-selection  inference  explanatory-models 

Uma família exponencial é definida usando dois ingredientes: - uma densidade base q0(x)q0(x)q_0(x) - um número suficiente de estatísticas Si(x)Si(x)S_i(x) A família é todas as densidades de probabilidade que podem ser escritas como: q(x|(λ)i)∝q0(x)exp(∑iλiSi(x))q(x|(λ)i)∝q0(x)exp⁡(∑iλiSi(x)) q(x| (\lambda)_i ) \propto q_0(x) \exp \left( \sum_i \lambda_i S_i(x) \right) É sabido que a relação …

7 mathematical-statistics  references  moments  exponential-family  geometry 

Sabemos confidence intervalque não pode ser usado para declaração de probabilidade, isso é algo reservado credible interval. No entanto, as técnicas freqüentistas mais comumente usadas (por exemplo, intervalos de confiança para médias e proporções) são equivalentes a intervalos credíveis bayesianos para alguns anteriores específicos. Um exemplo comum é o plano …

7 bayesian  frequentist 

Ao passar da normalização para na regressão linear, devo esperar ver mais viés ou mais variação? Observe que o viés é um sinal de falta de ajuste e a variação é um sinal de falta de ajuste. Assuma a constante λ.eu2L2L^2eu1 1L1L^1 Estou procurando uma regra geral aqui. Se não …

7 variance  lasso  bias  regularization  ridge-regression 

Estou ciente das vantagens da validação cruzada k-fold (e deixe-o-fora), bem como das vantagens de dividir seu conjunto de treinamento para criar um terceiro conjunto de 'validação', que você usa para avaliar modele o desempenho com base nas opções de hiperparâmetros, para que você possa otimizar e ajustá-los e escolher …

7 machine-learning  cross-validation  hyperparameter  optimization 

Estou lendo o All of Nonparametric Statistics , de Larry Wasserman. Na página 12, ele define a função de distribuição empírica como: A função de distribuição empírica Fn^Fn^\hat{F_n} é o CDF que coloca massa 1 1n1n\frac{1}{n} em cada ponto de dados XEuXiX_i. Formalmente, Fn^( x ) =1 1n∑i = 1nEu(XEu≤ …

7 distributions  nonparametric 

Estou trabalhando em um problema com as seguintes qualidades. Os dados disponíveis são numerosos - da ordem dexxx10610610^6 O CDF tem suporte sobre números reais não negativos.FXFXF_X Eu não sei .FXFXF_X Podemos assumir que os dados são iid. Estou tentando estimar a probabilidade de uma amostra futura extraída de ficar …

7 mathematical-statistics  binomial  prediction-interval 

Em um estudo de simulação, existe alguma diferença entre ∙∙\bullet estimando a variância , vezes e tomando sua média, eσ2σ2\sigma^2100010001000 ∙∙\bullet estimando o desvio padrão , vezes e tomando sua média?σσ\sigma100010001000 Posso fazer alguém? Existe alguma preferência em fazer uma em particular?

7 self-study  mathematical-statistics  unbiased-estimator  moments  invariance 

Deixei X∼Gamma(3,3)X∼Gamma(3,3)X \sim Gamma(3,3)e .Y∼Exp(1)Y∼Exp(1)Y \sim Exp(1) Como calculo ?P(X>Y)P(X>Y)P(X>Y) Acredito reescrevê-lo como mas não tenho certeza de como calcular para duas distribuições diferentes?P(X−Y>0)P(X−Y>0)P(X-Y>0)X−YX−YX-Y

7 probability  distributions  exponential