Estatísticas e Big Data

Estou interessado no seguinte tipo de caso: existem 'n' variáveis ​​aleatórias contínuas que devem somar 1. Qual seria então o PDF para qualquer variável individual desse tipo? Portanto, se , estou interessado na distribuição de , em que e são todos distribuídos uniformemente. A média, obviamente, neste exemplo, é , …

10 uniform 

Se houver, entre ajustar uma linha a vários "experimentos" separados e calcular a média dos ajustes, ou calcular a média dos dados das experiências separadas e ajustar os dados médios. Deixe-me elaborar: Realizo simulações em computador que geram uma curva, mostradas abaixo. Nós extraímos uma quantidade, vamos chamá-la de "A" …

10 error  fitting  average 

Estou testando a independência em uma tabela de contingência Não sei se o teste G ou o qui-quadrado de Pearson são melhores. O tamanho da amostra está na casa das centenas, mas há algumas contagens baixas de células. Conforme declarado na página da Wikipedia , a aproximação à distribuição qui-quadrado …

10 chi-squared  p-value  monte-carlo  contingency-tables 

Existe um pacote R (ou mesmo uma função R básica) que implementa o método de Fisher ou Stouffer para combinar valores-p? Codificar isso deve ser quase trivial, mas eu prefiro usar (e citar) um pacote. Exemplo de código nesta pergunta: Método de Fisher para pentear valores-p - e a cauda …

10 r  combining-p-values 

Quero estimar a média de uma função f, ou seja, onde e são variáveis ​​aleatórias independentes. Eu tenho amostras de f, mas não de identificação: existem amostras de para e para cada há amostras de :EX,Y[f(X,Y)]EX,Y[f(X,Y)]E_{X,Y}[f(X,Y)]XXXYYYY1,Y2,…YnY1,Y2,…YnY_1,Y_2,\dots Y_nYiYiY_ininin_iXXXXi,1,Xi,2,…,Xi,niXi,1,Xi,2,…,Xi,niX_{i,1},X_{i,2},\dots, X_{i,n_i} Portanto, no total, tenho amostrasf(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X1,1,Y1)…f(X1,n1,Y1)…f(Xi,j,Yi)…f(Xn,nn,Yn)f(X_{1,1},Y_1) \dots f(X_{1,n_1},Y_1 ) \dots f(X_{i,j},Y_i) \dots f(X_{n,n_n},Y_n) …

10 variance  unbiased-estimator  estimators 

Estou analisando a função de custo de entropia cruzada encontrada neste tutorial : C= - 1n∑x[ yema + ( 1 - y) em( 1 - a ) ]C=−1n∑x[yln⁡a+(1−y)ln⁡(1−a)]C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)] O que exatamente estamos resumindo? É claro que está acima de , mas e não mudam …

10 neural-networks  error-propagation 

Eu queria saber onde existe uma fórmula geral para relacionar o valor esperado de uma variável aleatória contínua como uma função dos quantis do mesmo rv O valor esperado de rv é definido como: E ( X ) = ∫ x d F X ( x ) e quantis são …

10 expected-value  quantiles  quantile-regression 

O método clássico de análise de componentes principais (PCA) é fazê-lo em uma matriz de dados de entrada cujas colunas têm média zero (o PCA pode "maximizar a variação"). Isso pode ser alcançado facilmente centralizando as colunas. No entanto, quando a matriz de entrada for esparsa, a matriz centralizada será …

10 pca  algorithms  dimensionality-reduction  large-data  sparse 

Quando é útil a transformação do peso da evidência (WOE) das variáveis ​​categóricas? O exemplo pode ser visto na transformação WOE (Assim, para uma resposta , & um preditor categórica com categorias, & sucessos de ensaios no âmbito do th categoria de este preditor, o AI para o th categoria …

10 logistic  categorical-data  regression-strategies 

Tanto quanto eu vi, as opiniões tendem a diferir sobre isso. As melhores práticas certamente ditariam a validação cruzada (especialmente se comparar RFs com outros algoritmos no mesmo conjunto de dados). Por outro lado, a fonte original afirma que o fato de o erro OOB ser calculado durante o treinamento …

10 cross-validation  random-forest  overfitting  out-of-sample 

Quais são as vantagens de expressar um modelo ARMA como um modelo de espaço de estado e fazer previsões usando um filtro Kalman? Essa metodologia é usada, por exemplo, na implementação SARIMAX dos python-statsmodels: https://github.com/statsmodels/statsmodels/tree/master/statsmodels/tsa/statespace

10 forecasting  arma  kalman-filter  state-space-models  statsmodels 

Esta questão é do problema 7.4.9 de Robert Hogg, Introdução à estatística matemática 6a versão, na página 388. Seja ser iid com pdf zero em outro lugar, onde .X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ<x<2θ,f(x;θ)=1/3θ,−θ<x<2θ,f(x;\theta)=1/3\theta,-\theta0 (a) Encontre o valor deθ^θ^\hat{\theta}θθ\theta (b) uma estatística suficiente para ? Por quê ?θ^θ^\hat{\theta}θθ\theta (c) o MVUE exclusivo de ? Por …

10 self-study  maximum-likelihood  order-statistics  sufficient-statistics  umvue 

Alguém pode me dizer qual é o nome desse tipo de diagrama (se houver)? Alguém também pode sugerir alguma ferramenta, por mais simples que seja, para traçar esse diagrama?

10 categorical-data  proportion 

No passado, fiz várias perguntas a mim relacionadas a artigos publicados em várias áreas em que regressões (e modelos relacionados, como modelos de painel ou GLMs) são usadas em dados observacionais (dados não produzidos por experimento controlado) , em muitos casos - mas nem sempre - dados observados ao longo …

10 regression  references  instrumental-variables  observational-study 

Estou construindo um modelo bayesiano hierárquico bastante complexo para uma meta-análise usando R e JAGS. Simplificando um pouco, os dois níveis principais do modelo têm onde é a ésima observação do ponto final (neste caso, GM vs. rendimentos de culturas não GM) no estudo , é o efeito do estudo …

10 autocorrelation  multilevel-analysis  mcmc  jags