Estatísticas e Big Data

Estou trabalhando em um modelo que conta com uma função parametrizada feia que atua como uma função de calibração em uma parte do modelo. Usando uma configuração bayesiana, preciso obter informações preliminares não informativas para os parâmetros que descrevem minha função. Eu sei que, idealmente, devo derivar referência ou pelo …

8 bayesian  inference  prior  uninformative-prior 

Estou tentando executar uma regressão de Cox em um exemplo de conjunto de dados de 2.000.000 de linhas da seguinte maneira, usando apenas R. Esta é uma tradução direta de um PHREG no SAS. A amostra é representativa da estrutura do conjunto de dados original. ## library(survival) ### Replace 100000 …

8 r  logistic  survival  sas  cox-model 

Estou tentando analisar um conjunto de dados que se origina de sensores localizados perto dos sapatos dos jogadores em uma partida ( http://www.orgs.ttu.edu/debs2013/index.php?goto=cfchallengedetails ). Decidi analisar o cluster para identificar: Trajetórias similares de jogadores na partida usando o algoritmo de agrupamento TRACLUS Jogadores similares, contando algumas características, como passagens mal …

8 clustering 

Eu tenho 2 estudos analisando a resposta do paciente ao mesmo medicamento. O estudo 1 encontrou 10.000 genes expressos acima do plano de fundo e 500 deles são diferencialmente expressos e referidos como a assinatura da resposta ao medicamento. O estudo 2 encontrou 1.000 genes representando a assinatura da resposta …

8 r  multiple-comparisons  genetics  bonferroni  hypergeometric 

Em geral, estou curioso sobre o significado do termo "princípios". Foi usado no título de um manuscrito não publicado, "Combinando Modelos de Computador em uma Análise Bayesiana de Princípios". Além disso, Zhang 2004 diz "Há várias vantagens em uma análise bayesiana de princípios" aqui: Caso contrário, encontro relativamente poucos hits …

8 definition 

Estou interessado em saber por que as observações dependentes são um problema em estatística. Digamos que você queira saber se há uma diferença nas notas médias dos exames entre duas escolas. Você coleta 50 observações em cada escola. Essas 50 observações são derivadas de 5 salas de aula diferentes em …

8 hypothesis-testing  t-test  independence  non-independent 

Eu tenho um parâmetro que fica entre . Digamos que eu possa executar um experimento e obter , em que é um gaussiano padrão. O que eu preciso é de uma estimativa de que seja 1) imparcial 2) quase certamente limitada. O requisito (2) é crucial para mim.θθ\thetaθ = θ …

8 estimation  mathematical-statistics  unbiased-estimator  proof 

Por favor, permita-me fazer uma pergunta básica. Entendo a mecânica de Naive Bayes para variáveis ​​discretas e posso refazer os cálculos "à mão". (código de HouseVotes84 todo o caminho abaixo). No entanto - estou lutando para ver como a mecânica funciona para variáveis ​​contínuas (código de exemplo abaixo). Como o …

8 r  naive-bayes  bayes 

É aceitável classificar dados, calcular a média dos compartimentos e derivar o coeficiente de correlação de Pearson com base nesses meios? Parece-me um procedimento um tanto quanto suspeito (se você considerar os dados como uma amostra populacional) a dispersão desses meios será o erro padrão da média e, portanto, muito …

8 correlation  binning 

Alguém poderia explicar o ponto de mudança para mim. Estou usando o pacote em R e realmente não entendo o que significam os diferentes métodos, os prós e os contras de cada um, e especialmente não entendo o valor da penalidade. Quando você aumenta o valor da penalidade, o que …

8 change-point 

Eu gostaria de fazer análises de poder para testes de hipóteses de (não) igualdade de proporções nas quais as proporções são muito pequenas. Eu gostaria de fazer isso sem usar aproximações normais (ou Poisson) da distribuição binomial. Existem vários tipos gerais de questões de poder que eu gostaria de resolver. …

8 r  binomial  power-analysis 

No que diz respeito ao teste de hipóteses, a estimativa do tamanho das amostras é feita através de energia, e é intuitivo que aumentar o mesmo tamanho aumenta a precisão dos efeitos estimados. Mas e quanto à previsão para classificação e regressão? Quais aspectos do problema de previsão são influenciados …

8 classification  sample-size  prediction 

Wikipedia diz Métodos que se baseiam em um teste abrangente antes de proceder a múltiplas comparações . Normalmente, esses métodos requerem um teste de intervalo ANOVA / Tukey significativo antes de prosseguir para múltiplas comparações. Esses métodos têm controle "fraco" do erro do tipo I. Além disso O teste F …

8 hypothesis-testing  multiple-comparisons 

Notei que a tarefa de regressão no aprendizado de máquina está de alguma forma relacionada à solução de equações diferenciais aproximadamente - ambas estão tentando aproximar funções desconhecidas. Então, minha pergunta é: ML pode de alguma forma ser útil na resolução de equações diferenciais? Agradeço antecipadamente.

8 machine-learning 

Estou procurando sua ajuda para entender a diferença entre dois contrastes diferentes para variáveis ​​dicotômicas. Nesta página: http://www.psychstat.missouristate.edu/multibook/mlt08.htm em "Variáveis ​​preditivas dicotômicas", existem duas maneiras de codificar preditores dicotômicos: usando o contraste 0,1 ou o contraste 1, -1 . Eu meio que entendo a distinção aqui (0,1 é codificação fictícia …

8 multiple-regression  categorical-data  categorical-encoding