Estatísticas e Big Data

Sou muito novo em estatísticas espaciais e assisto a muitos tutoriais, Mas eu realmente não entendo por que você precisa fornecer um modelo de variograma quando krige. Estou usando o pacote gstat no R, e este é o exemplo que eles fornecem: library(sp) data(meuse) coordinates(meuse) = ~x+y data(meuse.grid) str(meuse.grid) gridded(meuse.grid) …

9 spatial 

Não tenho certeza de como proceder com esse CFA que estou fazendo em lavaan. Eu tenho uma amostra de 172 participantes (eu sei que isso não é muito para um CFA) e 28 itens com escalas Likert de 7 pontos que devem carregar sete fatores. Fiz um CFA com estimadores …

9 r  sem  fitting  confirmatory-factor 

Eu tenho dados barulhentos de duas variáveis ​​como esta. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- rnorm(20000, …

9 r  machine-learning  clustering 

Se uma Análise Discriminante Linear de várias classes (ou às vezes também leio Análise Discriminante Múltipla) for usada para redução de dimensionalidade (ou transformação após redução de dimensionalidade via PCA), entendo que, em geral, uma "normalização do escore Z" (ou padronização) de os recursos não serão necessários, mesmo que sejam …

9 classification  data-transformation  normalization  standardization  discriminant-analysis 

Minha pergunta é geralmente sobre Decomposição de Valor Singular (SVD), e particularmente sobre Indexação Semântica Latente (LSI). Digamos, eu tenho que contém frequências de 5 palavras para 7 documentos.Aword×documentAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), ncol=7, byrow=TRUE) rownames(A) <- c('doctor','car','nurse','hospital','wheel') Fico Fatorização matriz para usando SVD: …

9 r  svd  natural-language  latent-semantic-indexing 

Suponha que você tenha uma população com unidades, cada uma com uma variável aleatória . Você observa valores para qualquer unidade para a qual . Queremos uma estimativa de .X i isson Poisson ( λ ) n = N - n 0 X i > 0 λNNNXEuIsson Poisson ( λ …

9 expectation-maximization 

Qual é a importância da matriz de chapéu, , na análise de regressão?H=X(X′X)−1X′H=X(X′X)−1X′H=X(X^{\prime}X )^{-1}X^{\prime} É apenas para um cálculo mais fácil?

9 regression  multiple-regression  least-squares 

Recentemente, afirmei corajosamente diante de um grupo de estudantes do oitavo ano razoavelmente inteligentes que a astronomia contribuiu muito para os fundamentos da estatística e que muitos conceitos estatísticos foram inventados para uso em astronomia. No entanto, olhando para trás, fiquei bastante decepcionado. Erros, a média e o desvio médio …

9 history  astronomy 

Minha pergunta é bem simples, mas essas são as que realmente me impressionam :) Não sei como avaliar se uma série temporal específica deve ser decomposta usando um método de decomposição aditiva ou multiplicativa. Eu sei que existem pistas visuais para diferenciá-las umas das outras, mas não as entendo. Tomemos, …

9 time-series  mathematical-statistics  variance-decomposition 

Estou tentando entender como obter valores- para o teste unilateral de Kolmogorov-Smirnov e estou lutando para encontrar CDFs para e no caso de duas amostras. O abaixo é citado em alguns lugares como CDF para em um caso de uma amostra:pppD+n1,n2Dn1,n2+D^{+}_{n_{1},n_{2}}D−n1,n2Dn1,n2−D^{-}_{n_{1},n_{2}}D+nDn+D^{+}_{n} p+n(x)=P(D+n≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jpn+(x)=P(Dn+≥x|H0)=x∑j=0⌊n(1−x)⌋(nj)(jn+x)j−1(1−x−jn)n−jp^{+}_{n}\left(x\right) = \text{P}\left(D^{+}_{n} \ge x | \text{H}_{0}\right) = x\sum_{j=0}^{\lfloor …

9 self-study  kolmogorov-smirnov  cdf 

Atualmente, estou lendo suposições para correlações de Pearson. Uma suposição importante para o teste t subsequente parece ser que ambas as variáveis ​​provêm de distribuições normais; se não o fizerem, é recomendável o uso de medidas alternativas, como o Spearman rho. A correlação de Spearman é calculada como a correlação …

9 correlation  normality-assumption  spearman-rho  ranks 

Estou interessado em estimar uma taxa de risco ajustada, análoga a como se estima uma taxa de chances ajustada usando regressão logística. Alguma literatura (por exemplo, isso ) indica que o uso da regressão de Poisson com erros padrão de Huber-White é uma maneira baseada em modelo para fazer isso …

9 r  references  biostatistics  poisson-regression  relative-risk 

Os resultados assintóticos não podem ser comprovados por simulação em computador, porque são afirmações que envolvem o conceito de infinito. Mas devemos ter a sensação de que as coisas realmente marcham da maneira que a teoria nos diz. Considere o resultado teórico limn → ∞P( | Xn| >ϵ)=0,ε > 0limn→∞P(|Xn|>ϵ)=0,ϵ>0\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) …

9 mathematical-statistics  simulation  convergence  asymptotics 

Gostaria de executar uma combinação de superamostragem e subamostragem para equilibrar meu conjunto de dados com aproximadamente 4000 clientes divididos em dois grupos, onde um dos grupos tem uma proporção de aproximadamente 15%. Examinei o SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) e o ROSE ( http://cran.r-project.org/web/packages/ROSE/ ROSE.pdf ), mas ambos criam novas …

9 unbalanced-classes  resampling  oversampling 

Percebo que existem 3 parâmetros de ajuste no modelo de árvores de reforço, ou seja, o número de árvores (número de iterações) parâmetro de encolhimento número de divisões (tamanho de cada árvore constituinte) Minha pergunta é: para cada um dos parâmetros de ajuste, como devo encontrar seu valor ideal? E …

9 machine-learning  cross-validation  computational-statistics  boosting  gbm