Estatísticas e Big Data

From Econometrics , by Fumio Hayashi (Chpt 1): Homoscedasticidade incondicional: O segundo momento dos termos de erro E (εᵢ²) é constante nas observações A forma funcional E (εᵢ² | xi) é constante nas observações Homoscedasticidade condicional: A restrição de que o segundo momento dos termos de erro E (εᵢ²) é …

12 regression  econometrics  heteroscedasticity  assumptions 

Atualmente, estou usando a análise de componentes principais para selecionar variáveis ​​a serem usadas na modelagem. No momento, faço as medições A, B e C em meus experimentos - O que realmente quero saber é: Posso fazer menos medições e parar de gravar C e ou B para economizar tempo …

12 regression  pca  model-selection 

fundo Estou projetando uma simulação de Monte Carlo que combina os resultados de séries de modelos e quero ter certeza de que a simulação me permitirá fazer afirmações razoáveis ​​sobre a probabilidade do resultado simulado e a precisão dessa estimativa de probabilidade. A simulação encontrará a probabilidade de um júri …

12 confidence-interval  monte-carlo  standard-error  simulation 

Contexto: Eu sou um estudante de doutorado em psicologia. Como em muitos estudantes de doutorado em psicologia, eu sei executar várias análises estatísticas usando software estatístico, até técnicas como PCA, árvores de classificação e análise de agrupamentos. Mas não é realmente satisfatório porque, embora eu possa explicar por que fiz …

12 references  notation  software 

Digamos que é uma função linear de x e um dummy d . Minha hipótese é que d em si é como um índice hedonista de um vector de outras variáveis, Z . Eu tenho suporte para isso em um M A N O V A de Z (ou seja, …

12 r  hypothesis-testing  regression  model-selection 

O ponto principal da AIC ou de qualquer outro critério de informação é que menos é melhor. Portanto, se eu tiver dois modelos M1: y = a0 + XA + e e M2: y = b0 + ZB + u, e se o AIC do primeiro (A1) for menor que …

12 regression  aic 

Estou com problemas para calcular o coeficiente de correlação de Pearson dos conjuntos de dados com desvio padrão possivelmente zero (ou seja, todos os dados têm o mesmo valor). Suponha que eu tenha os dois conjuntos de dados a seguir: float x[] = {2, 2, 2, 3, 2}; float y[] …

12 correlation 

Eu tenho uma tabela de contingência de três níveis, com dados de contagem de várias espécies, a planta hospedeira da qual elas foram coletadas e se essa coleta ocorreu em um dia chuvoso (isso realmente importa!). Usando R, dados falsos podem ser algo assim: count <- rpois(8, 10) species <- …

12 r  categorical-data  log-linear 

Estou projetando um algoritmo de amostragem Hybrid Monte Carlo para PyMC e estou tentando torná-lo o mais livre possível e geral possível, por isso estou procurando bons conselhos sobre como projetar um algoritmo HMC. Eu li o capítulo da pesquisa de Radford e Beskos et. artigo recente de al. sobre …

12 bayesian  monte-carlo 

Eu tenho um problema de amostragem simples, onde meu loop interno se parece com: v = sample_gamma(k, a) onde sample_gammaamostras da distribuição Gamma para formar uma amostra de Dirichlet. Funciona bem, mas para alguns valores de k / a, parte da computação a jusante é insuficiente. Eu o adaptei para …

12 sampling  gamma-distribution 

Eu tenho uma pergunta sobre métodos seqüenciais de grupo . De acordo com a Wikipedia: Em um estudo randomizado com dois grupos de tratamento, o teste seqüencial em grupo clássico é usado da seguinte maneira: Se n indivíduos em cada grupo estiverem disponíveis, uma análise provisória será realizada nos 2n …

12 multiple-comparisons  clinical-trials  type-i-and-ii-errors 

Eu gostaria de colocar esta questão em duas partes. Ambos lidam com um modelo linear generalizado, mas o primeiro trata da seleção de modelos e o outro trata da regularização. Antecedentes: Utilizo modelos GLMs (linear, logístico, regressão gama) para previsão e descrição. Quando me refiro às " coisas normais que …

12 regression  model-selection  regularization 

Você pode recomendar um pacote de mineração de texto no R que possa ser usado em grandes volumes de dados? Em segundo lugar, existe uma GUI disponível para qualquer um dos pacotes de mineração de texto no R? Em terceiro lugar, existe outro programa de mineração de texto de código …

12 r  text-mining 

Isso foi inspirado pela regressão linear online eficiente , que achei muito interessante. Existem textos ou recursos dedicados à computação estatística em larga escala, pelos quais a computação com conjuntos de dados grandes demais para caber na memória principal e talvez variada demais para subamostrar com eficácia. Por exemplo, é …

12 online  computing  references 

Contexto Eu tenho dois conjuntos de dados que eu quero comparar. Cada elemento de dados nos dois conjuntos é um vetor contendo 22 ângulos (todos entre −π−π-\pi e ππ\pi ). Os ângulos referem-se a uma determinada configuração de pose humana, portanto, uma pose é definida por 22 ângulos articulares. O …

12 measurement  distance-functions  circular-statistics