Estatísticas e Big Data

Cadeia de Markov Monte Carlo é um método baseado em cadeias de Markov que nos permite obter amostras (em um cenário de Monte Carlo) de distribuições não padronizadas das quais não podemos extrair amostras diretamente. Minha pergunta é por que a cadeia de Markov é "avançada" na amostragem de Monte …

9 sampling  mcmc  monte-carlo  markov-chain  stochastic-approximation 

Eu tenho uma amostra de 250 unidades. A distribuição é assimétrica. Quero testar uma hipótese de que a mediana da população é diferente de 3,5, por isso acho que um teste de uma amostra seria apropriado. Eu sei que o teste de Wilcoxon não é apropriado porque a distribuição não …

9 hypothesis-testing  median 

Um instrutor da minha universidade fez uma pergunta como essa (não para trabalhos de casa, pois a aula terminou e eu não participei). Não consigo descobrir como abordar isso. A questão diz respeito a 2 sacas cada uma contendo uma variedade de diferentes tipos de frutas: A primeira sacola contém …

9 regression  estimation 

Anos atrás, eu encontrei essa identidade através da experimentação brincando com dados e transformações. Depois de explicar ao meu professor de estatística, ele entrou na aula seguinte com uma prova de uma página, usando notação de vetor e matriz. Infelizmente, perdi o papel que ele me deu. (Isso foi em …

9 regression  r-squared 

Considere uma amostra aleatória que são as variáveis ​​aleatórias iid que . Verifique se é uma estatística suficiente para .{X1,X2,X3}{X1,X2,X3}\{X_1,X_2,X_3\}XiXiX_iBernoulli(p)Bernoulli(p)Bernoulli(p)p∈(0,1)p∈(0,1)p\in(0,1)T(X)=X1+2X2+X3T(X)=X1+2X2+X3T(X)=X_1+2X_2+X_3ppp Em primeiro lugar, como podemos encontrar a distribuição para ? Ou deve ser dividido em e isso seguirá ? Acho que não, porque note que todas as variáveis ​​não são …

9 inference  point-estimation  sufficient-statistics 

Eu estou tentando gerar uma matriz de correlação (psd simétrico) com uma estrutura de esparsidade pré-especificada (especificada por um gráfico nos nós ). Os nós conectados no gráfico têm correlação , resto todos são 0 e a diagonal é tudo 1.p ρ ∼ U ( 0 , 1 )p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho …

9 correlation  matrix  sparse  correlation-matrix 

Em um modelo misto linear generalizado logístico (família = binomial), não sei como interpretar a variação de efeitos aleatórios: Random effects: Groups Name Variance Std.Dev. HOSPITAL (Intercept) 0.4295 0.6554 Number of obs: 2275, groups: HOSPITAL, 14 Como interpreto esse resultado numérico? Eu tenho uma amostra de pacientes transplantados renais em …

9 r  lme4-nlme 

O livro "Introdução ao aprendizado de máquina" de Ethem Alpaydın afirma que a dimensão VC de um retângulo alinhado ao eixo é 4. Mas como um retângulo pode quebrar um conjunto de quatro pontos colineares com pontos positivos e negativos alternativos? Alguém pode explicar e provar a dimensão VC de …

9 classification  vc-dimension 

Um dos métodos de avaliação do ImageNet Competition (classificar 1.000 imagens de categorias) é o erro dos cinco principais, o que isso significa? Veja: http://www.image-net.org/challenges/LSVRC/

9 machine-learning  classification  computer-vision 

A versão curta fora do contexto Seja uma variável aleatória com CDF yyyF(⋅)≡{θθ+(1−θ)×CDFlog-normal(⋅;μ,σ) y = 0 y > 0F(⋅)≡{θ y = 0 θ+(1−θ)×CDFlog-normal(⋅;μ,σ) y > 0 F(\cdot) \equiv \cases{\theta & y = 0 \\ \theta + (1-\theta) \times \text{CDF}_{\text{log-normal}}(\cdot; \mu, \sigma) & y > 0} Digamos que eu queira simular …

9 r  distributions  sampling  simulation  copula 

No método dos mínimos quadrados, queremos estimar os parâmetros desconhecidos no modelo: Yj= α + βxj+ εj( j = 1 ... n )Yj=α+βxj+εj(j=1 ...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) Depois de fazer isso (para alguns valores observados), obtemos a linha de regressão ajustada: Yj= α^+ β^x …

9 regression  least-squares  residuals  heteroscedasticity  assumptions 

Eu usei a função 'polr' no pacote MASS para executar uma regressão logística ordinal para uma variável de resposta categórica ordinal com 15 variáveis ​​explicativas contínuas. Utilizei o código (mostrado abaixo) para verificar se meu modelo atende à premissa proporcional de chances, seguindo as orientações fornecidas no guia da UCLA …

9 r  logistic  assumptions  ordered-logit  polr 

Na regressão linear, encontrei um resultado agradável que, se encaixarmos no modelo E[Y]=β1X1+β2X2+c,E[Y]=β1X1+β2X2+c,E[Y] = \beta_1 X_1 + \beta_2 X_2 + c, então, se padronizarmos e centralizarmos os dados , e ,X 1 X 2YYYX1X1X_1X2X2X_2 R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R2=Cor(Y,X1)β1+Cor(Y,X2)β2.R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2. Isso me parece uma versão de 2 variáveis …

9 regression  linear-model  r-squared  proof 

Considere um modelo linear yEu= α + βxEu+ ϵEuyi=α+βxi+ϵiy_i= \alpha + \beta x_i + \epsilon_i e as estimativas para o declive e interceptar α e usando mínimos quadrados ordinários. Essa referência para uma estatística matemática faz a afirmação de que e são independentes (na prova de seu teorema).α^α^\hat{\alpha} ct pβ^β^\hat{\beta}α^α^\hat{\alpha}β^β^\hat{\beta} …

9 regression 

Eu tenho diferentes variáveis ​​que interagem dentro de uma população. Basicamente, tenho feito um inventário de milípedes e medido alguns outros valores do terreno, como: As espécies e a quantidade de espécimes coletados Os diferentes ambientes onde os animais estão o pH A porcentagem de material orgânico a quantidade de …

9 pca  multivariate-analysis  ecology  correspondence-analysis