Estatísticas e Big Data

Eu preciso de um algoritmo para provar uma distribuição multinomial truncada. Isso é, x⃗ ~ 1Zpx1 11 1... pxkkx1 1! … Xk!x→∼1Zp1x1…pkxkx1!…xk!\vec x \sim \frac{1}{Z} \frac{p_1^{x_1} \dots p_k^{x_k}}{x_1!\dots x_k!} onde é uma constante de normalização, tem componentes positivos e . Considero apenas valores de no intervalo .→ x k ∑ …

9 algorithms  multinomial  random-generation 

Alguém poderia me dizer por que estou obtendo resultados diferentes de Rmínimos quadrados ponderados e solução manual por operação de matriz ? Especificamente, estou tentando resolver manualmente , onde é a matriz diagonal dos pesos, é a matriz de dados, é a resposta vetor. W A bW A x = …

9 r  regression  least-squares  weighted-regression  weighted-data 

Pelo Teorema do Limite Central, a função densidade de probabilidade da soma de grandes variáveis ​​aleatórias independentes tende a Normal. Portanto, podemos dizer que a soma de um grande número de variáveis ​​aleatórias independentes de Cauchy também é Normal?

9 random-variable  central-limit-theorem  cauchy 

O número de acidentes por dia é uma variável aleatória de Poisson com o parâmetro ; em 10 dias escolhidos aleatoriamente, o número de acidentes foi observado como 1,0,1,1,2,0,2,0,0,1, o que será ser um estimador imparcial de ?λλ\lambdaeλeλe^{\lambda} Tentei tentar desta maneira: Sabemos que , mas . Então, qual será …

9 self-study  estimation  poisson-distribution 

Quando podemos diferenciar a função de custo e encontrar parâmetros resolvendo equações obtidas por meio de diferenciação parcial com relação a cada parâmetro e descobrir onde a função de custo é mínima. Também acho que é possível encontrar vários locais onde as derivadas são zero, assim podemos verificar todos esses …

9 machine-learning  computational-statistics 

Recentemente, um amigo meu perguntou o que há de tão comum nos mínimos quadrados comuns. Não parecemos chegar a lugar algum na discussão. Nós dois concordamos que o OLS é um caso especial do modelo linear, tem muitos usos, é bem conhecido e é um caso especial de muitos outros …

9 regression  linear-model  least-squares  terminology 

É sabido que uma variável aleatória sendo Gamma distribuída com o parâmetro de forma inteira é equivalente à soma dos quadrados de k variáveis ​​aleatórias normalmente distribuídas.kkkkkk Mas o que posso dizer sobre uma variável aleatória distribuída gama com não inteiro ? Existe alguma outra interpretação além da distribuição Gamma?kkk

9 probability  gamma-distribution 

Minha pergunta, em resumo: existem métodos para melhorar o tempo de execução do R MICE (imputação de dados)? Estou trabalhando com um conjunto de dados (30 variáveis, 1,3 milhão de linhas) que contém (aleatoriamente) dados ausentes. Cerca de 8% das observações em cerca de 15 em 30 variáveis ​​contêm NAs. …

9 r  multiple-imputation  mice 

Estou acostumado a conhecer "graus de liberdade" como , onde você tem o modelo linear \ mathbf {y} = \ mathbf {X} \ boldsymbol {\ beta} + \ boldsymbol {\ epsilon} com \ mathbf {y } \ in \ mathbb {R} ^ n , \ mathbf {X} \ em M_ …

9 t-test  degrees-of-freedom 

No famoso experimento de Fisher o observável é o número de copo corrigido imaginado tendo dois tipo de copo e . Geralmente é interessante calcular a região crítica para rejeitar a hipótese nula (a dama está adivinhando aleatoriamente), dado o tamanho do teste . Isso é feito facilmente usando a …

9 hypothesis-testing  power  fishers-exact 

Em várias competições de kaggle, a pontuação foi baseada em "logloss". Isso está relacionado ao erro de classificação. Aqui está uma resposta técnica, mas estou procurando uma resposta intuitiva. Gostei muito das respostas para esta pergunta sobre a distância de Mahalanobis, mas o PCA não é logloss. Posso usar o …

9 interpretation  intuition  loss-functions 

Estou fazendo uma lição de casa sobre as Árvores de Decisão, e uma das perguntas que tenho que responder é "Por que os estimadores são construídos a partir de árvores, e como a ensacagem ajuda a reduzir sua variação?". Agora, eu sei que os modelos com excesso de ajuste tendem …

9 cart  bias 

Alguém pode me dizer como simular , onde , usando um sorteio (quantas vezes você precisar) com ?Bernoulli(ab)Bernoulli(ab)\mathrm{Bernoulli}\left({a\over b}\right)a,b∈Na,b∈Na,b\in \mathbb{N}P(H)=pP(H)=pP(H)=p Eu estava pensando em usar amostras de rejeição, mas não consegui identificá-las.

9 probability  simulation  bernoulli-distribution  rejection-sampling 

Atualmente, estou vendo um artigo do modelo de efeitos aleatórios do processo Dirichlet e a especificação do modelo é a seguinte: que é o parâmetro de escala e é a medida base. Posteriormente, sugere que integremos uma função sobre a medida base , como A medida base no processo Dirichlet …

9 bayesian  dirichlet-distribution  dirichlet-process  nonparametric-bayes  measure-theory 

Existe uma relação matemática entre: o co-seno similaridade sim(A,B)sim⁡(A,B)\operatorname{sim}(A, B) de dois vectores AAA e BBB , e o co-seno similaridade sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB) de AAA e BBB , não-uniformemente dimensionadas através de uma dada matriz de MMM ? Aqui MMM é uma matriz diagonal dada com elementos desiguais na diagonal. …

9 linear-algebra  cosine-similarity