Estatísticas e Big Data

Eu já vi na literatura publicada (e postada aqui) que a eficiência relativa assintótica do teste de posto assinado de Wilcoxon é de pelo menos 0,864 quando comparada ao teste t. Também ouvi dizer que isso se aplica apenas a grandes amostras, embora alguns livros não mencionem isso (o que …

9 nonparametric  power  wilcoxon-signed-rank  paired-comparisons  efficiency 

Suponha que você tenha uma moeda justa que possa ser lançada quantas vezes quiser (possivelmente infinita). É possível gerar a distribuição uniforme discreta em , onde NÃO é uma potência de 2? Como você faria?( 1 , 2 , . . . , K )(1,2,...,k)(1,2,...,k)kkk Se isso for muito geral, …

9 random-generation  uniform 

Estou trabalhando no Think Bayes (gratuito aqui: http://www.greenteapress.com/thinkbayes/ ) e estou no exercício 3.1. Aqui está um resumo do problema: "Uma ferrovia numera suas locomotivas na ordem 1..N. Um dia você vê uma locomotiva com o número 60. Estime quantas locomotivas a ferrovia possui." Essa solução é encontrada com a …

9 bayesian  conditional-probability  bayes 

Seja e X variáveis ​​aleatórias. E ( Y | X ) representa a média condicional de Y dado X . Dizemos que Y não está causalmente relacionado a X se E ( Y | X ) não depende de X , o que implica que é igual a E ( …

9 econometrics  causality  conditional-expectation 

Estou usando um classificador baseado em redes neurais para executar uma classificação para meus dados em n-dimensional. Então, pensei que seria uma boa ideia executar a redução de dimensão como PCA para meus dados primeiro e depois colocar os resultados do PCA no classificador (eu mantenho 3 PCs). No entanto, …

9 pca  neural-networks 

Acabei de receber uma cópia dos Elementos do aprendizado estatístico de Hastie, Tibshirani e Friedman. No capítulo 2 (Visão geral do aprendizado supervisionado), seção 4 (Teoria estatística da decisão), ele fornece uma derivação da função de regressão. Deixe denotar um vetor de entrada aleatória com valor real e uma variável …

9 regression  statistical-learning 

Eu tenho dados para falhas de veículos a motor por hora do dia. Como seria de esperar, eles são altos no meio do dia e atingem o pico na hora do rush. O padrão geom_density do ggplot2 suaviza muito bem Um subconjunto dos dados, para falhas relacionadas ao consumo de …

9 r  pdf  kernel-smoothing  splines 

Suponha o seguinte modelo de regressão bivariado: que é iid para .yi=βxi+ui,yi=βxi+ui, y_i = \beta x_i + u_i, uiuiu_iN(0,σ2=9)N(0,σ2=9)N(0, \sigma^2 = 9)i=1,…,ni=1,…,ni = 1,\ldots, n Suponha que um anterior não informativo , então seja possível mostrar que o pdf posterior para é ondep ( β) ∝ constantep(β)∝constantp(\beta) \propto \text{constant}ββ\beta β …

9 probability  self-study  bayesian  confidence-interval  credible-interval 

Pelo que li Monte Carlo Hamiltoniano, é o MCMCmétodo "ir" quando o seu problema é de alta dimensão. Na prática, quantas dimensões 10, 100, 1.000, 10.000, 100.000, são demais? O custo computacional, sem dúvida, se tornará um problema e suponho que o modelo usado seja importante a considerar, mas essas …

9 autocorrelation  mcmc  monte-carlo  dimensionality-reduction 

Digamos que temos os seguintes dados: set.seed(123) data <- data.frame(x = c(rnorm(50, 1, 1), rnorm(50, 5, 2)), y = c(rep('A', 50), rep('B', 50))) Qual produz o seguinte boxplot ( boxplot(data$x ~ data$y)): Agora, digamos que eu queira testar se as duas amostras têm os mesmos parâmetros de localização (mediana e …

9 r  nonparametric  wilcoxon-mann-whitney 

Estou fazendo essas perguntas para esclarecimentos sobre os termos entre "distribuição nula" e "distribuição por amostragem". Acho que quando alguém diz distribuição nula , na verdade eles significam o mesmo que quando dizem distribuição por amostragem . Neste artigo de teste de hipótese [1], você pode ver a seguinte descrição …

9 hypothesis-testing  distributions  sampling 

Eu não sou especialista, então me perdoe se parte da terminologia for um pouco desajeitada. É um prazer fornecer mais informações quando necessário. Eu tenho dois vetores de 50 valores numéricos emparelhados em R. Eu quero executar um teste de randomização ou permutação bicaudal para determinar se suas diferenças são …

9 r  statistical-significance  permutation-test 

Eu tenho uma série de pontos de dados neste formulário (timestamp, lat, long) para um conjunto de usuários. Cada usuário tem uma trajetória quando viaja do ponto A ao ponto B. Pode haver qualquer número de pontos de A a B. Eles são pontos de dados ordenados com base no …

9 time-series  multivariate-analysis  data-transformation  functional-data-analysis 

Recentemente, comecei a estudar inferência estatística. Eu tenho trabalhado com vários problemas e este me deixou completamente perplexo. Seja X1,…,XnX1,…,XnX_1,\dots,X_n uma amostra aleatória de uma distribuição discreta que atribua com probabilidade 1313\frac{1}{3} os valoresθ−1, θ, or θ+1θ−1, θ, or θ+1\theta-1,\space\theta,\space\text{or}\space\theta+1, ondeθθ\thetaé um número inteiro. Mostre que não existe uma estatística …

9 self-study  mathematical-statistics  inference  discrete-data 

Estou interessado em prever Ye estou estudando diferentes duas técnicas de medição X1e X2. Pode ser, por exemplo, que eu quero prever o sabor de uma banana, medindo quanto tempo ela está sobre a mesa ou medindo o número de manchas marrons na banana. Quero saber qual das técnicas de …

9 regression  linear-model  mixed-model