Estatísticas e Big Data

Eu li em Abdi (2003) que Quando as variáveis ​​independentes são ortogonais em pares, o efeito de cada uma delas na regressão é avaliado calculando a inclinação da regressão entre essa variável independente e a variável dependente. Nesse caso, (isto é, ortogonalidade dos IVs), os coeficientes de regressão parciais são …

14 regression  multiple-regression  regression-coefficients  terminology 

Estive navegando em vários tópicos aqui, mas não acho que minha pergunta exata seja respondida. Eu tenho um conjunto de dados de ~ 50.000 alunos e seu tempo para desistir. Vou realizar uma regressão proporcional a riscos com um grande número de covariáveis ​​em potencial. Também farei regressão logística na …

14 cross-validation  survival  train 

Estou usando o vowpal wabbit para resolver um problema de bandido contextual . Estou exibindo anúncios para os usuários e tenho bastante informações sobre o contexto em que o anúncio é exibido (por exemplo, quem é o usuário, em que site ele está, etc.). Esse parece ser um problema clássico …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

Qual é o melhor software de visualização de dados de código aberto? Eu exijo o seguinte: Pode importar dados do Microsoft Excel (importar dados de bancos de dados Oracle também seria bom, mas isso não é obrigatório). Os gráficos gerados pelo software podem ser exportados para o Microsoft PowerPoint (copiar …

14 data-visualization  excel  software  open-source 

o seguinte problema surgiu recentemente ao analisar dados. Se a variável aleatória X segue uma distribuição normal e Y segue uma (com n dof), como é distribuído ? Até agora, eu o pdf de : Z = X 2 + Y 2 Y 2 ψ 2 n ( x )χ2nχn2\chi^2_nZ=X2+Y2Z=X2+Y2Z …

14 probability  distributions  normal-distribution  chi-squared  convolution 

Tenho dados de teste em que tenho várias amostras grandes de distribuições discretas que estou usando como distribuições empíricas. Estou querendo testar se as distribuições são realmente diferentes e qual é a diferença de meios para as distribuições que são realmente diferentes. Como são distribuições discretas, meu entendimento é que …

14 chi-squared  kolmogorov-smirnov 

Em uma variação do problema do coletor de cupons , você não sabe o número de cupons e deve determinar isso com base nos dados. Vou me referir a isso como o problema do biscoito da sorte: Dado um número desconhecido de mensagens distintas sobre cookies da sorte , estime …

14 estimation  coupon-collector-problem 

Como motivado pela recente mudança da estatística de seleção de modelo padrão no pacote de previsão do R de AIC para AICc, estou curioso para saber se o último é realmente aplicável onde quer que esteja o primeiro. Eu tenho uma série de perguntas a esse respeito e aqui está …

14 model-selection  references  aic 

Na wikipedia , a correlação de classificação de Spearman é calculada convertendo as variáveis e nas variáveis ​​classificadas e e calculando a correlação de Pearson entre as variáveis ​​classificadas:XiXiX_iYiYiY_ixixix_iyiyiy_i No entanto, o artigo continua afirmando que, se não houver vínculos entre as variáveis e , a fórmula acima será equivalente …

14 correlation  proof  spearman-rho 

Atualmente, estou revisando alguns trabalhos e encontrei o seguinte, o que me parece errado. Dois modelos mistos são montados (em R) usando o lmer. Os modelos não são aninhados e são comparados por testes de razão de verossimilhança. Em suma, aqui está um exemplo reproduzível do que tenho: set.seed(105) Resp …

14 r  lme4-nlme  likelihood-ratio  nested-models 

Na página da Wikipedia sobre intervalos de confiança : ... se intervalos de confiança são construídos em muitas análises de dados separadas de experimentos repetidos (e possivelmente diferentes), a proporção de tais intervalos que contêm o valor verdadeiro do parâmetro corresponderá ao nível de confiança ... E da mesma página: …

14 bayesian  confidence-interval 

Estou treinando um modelo de classificação com a Random Forest para discriminar entre 6 categorias. Meus dados transacionais têm aproximadamente 60k + observações e 35 variáveis. Aqui está um exemplo de como ele se parece aproximadamente. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 …

14 r  machine-learning  classification  random-forest 

Eu sei que isso pode ser um pouco complicado, estatisticamente, mas esse é o meu problema. Eu tenho muitos dados de intervalo, ou seja, o tamanho mínimo, máximo e amostral de uma variável. Para alguns desses dados, também tenho uma média, mas não muitos. Quero comparar esses intervalos entre si …

14 r  normal-distribution  estimation  missing-data  order-statistics 

Eu tenho uma amostra de 100 pontos que são contínuos e unidimensionais. Estimei sua densidade não paramétrica usando métodos de kernel. Como posso tirar amostras aleatórias dessa distribuição estimada?

14 r  sampling  kernel-smoothing 

Estou revisando um artigo de periódico acadêmico por pares e os autores escreveram o seguinte como justificativa para não reportar estatísticas inferenciais (eu identifiquei a natureza dos dois grupos): No total, 25 dos 2,349 (1,1%) participantes relataram X . Abster-se adequadamente de apresentar análises que comparem estatisticamente o grupo X …

14 hypothesis-testing  sample-size  power-analysis  power  group-differences