Estatísticas e Big Data

Eu tenho um vetor Xde N=900observações que são melhor modeladas por um estimador de densidade de Kernel de largura de banda global (modelos paramétricos, incluindo modelos de mistura dinâmica, acabaram não sendo bons ajustes): Agora, eu quero simular a partir deste KDE. Eu sei que isso pode ser alcançado através …

8 distributions  sampling  bootstrap  simulation  kernel-smoothing 

Em conjunto com uma pergunta de Validação cruzada sobre a simulação de uma cópula específica, ou seja, um Cdf multivariado definido em , comecei a me perguntar sobre o panorama geral, como, quando dada tal função, alguém pode imaginar um algoritmo genérico para simular a partir da distribuição de probabilidade …

8 multivariate-analysis  simulation  mcmc  copula 

O Elements of Statistical Learning (ESL) é um livro com amplitude e profundidade fantásticas. Ele aborda o essencial dos métodos muito modernos, citando os documentos onde esses estudos originais ocorrem. No entanto, eu realmente acho a linguagem do livro muito, muito proibitiva. Eu acredito que existe uma maneira mais fácil …

8 self-study  statistical-learning 

Usando o teste T de Student, o T-Critical é calculado através de: t=X¯−μ0s/n√t=X¯−μ0s/nt = \frac{\bar{X} - \mu_{0}}{s / \sqrt{n}} Olhando para o artigo da Wikipedia sobre a Estimação imparcial do desvio padrão, há a seção Resultado para a distribuição normal, que menciona um fator de correção c4(n)c4(n)c_4(n) para o desvio …

8 t-test  standard-deviation  unbiased-estimator  t-distribution 

Eu tenho um conjunto de dados de 17 pessoas, classificando 77 declarações. Eu quero extrair componentes principais em uma matriz de correlação transposta de correlações entre pessoas (como variáveis) entre instruções (como casos). Eu sei, é estranho, chama-se Q Methodology . Quero ilustrar como o PCA funciona nesse contexto, extraindo …

8 r  data-visualization  pca  ggplot2  eigenvalues 

Dos documentos Lucene IDF=1+log(numDocsdocFreq+1)IDF=1+log⁡(numDocsdocFreq+1)\text{IDF} = 1 + \log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Em outras referências (isto é, wikipedia ), o IDF é normalmente calculado como ou para evitar mergulhar em 0.log(numDocsdocFreq)log⁡(numDocsdocFreq)\log\left(\frac{\text{numDocs}}{\text{docFreq}}\right)log(numDocsdocFreq+1)log⁡(numDocsdocFreq+1)\log\left(\frac{\text{numDocs}}{\text{docFreq}+1}\right) Também percebo que o Lucene usa vez de para calcular o TF, mas meu entendimento é que essa é apenas uma transformação preferida, …

8 information-retrieval  tf-idf 

Qual é a melhor maneira de visualizar a diferença entre diferenças para o tratamento binário e contínuo? Regroco a variável de resultado no conjunto de controles, mas excluo a variável de tratamento e planto os resíduos em cada grupo (caso binário)? Existe uma maneira de ver a "dinâmica" do parâmetro …

8 data-visualization  causality  treatment-effect  difference-in-difference 

Para minha tese de mestrado, quero basicamente descobrir por que os países em desenvolvimento estão estagnados. Além dos aspectos teóricos, também quero fazer uma regressão. Quero regredir o crescimento do PIB ou do PIB como variável dependente de muitas variáveis ​​independentes, como mandato do chefe de estado, expectativa de vida, …

8 regression  econometrics  panel-data  macroeconomics 

O sistema em que trabalhamos é biológico, mais especificamente a distribuição de eventos de danos ao DNA programados em um cromossomo. Isso pode ser pensado como uma matriz 1D (o cromossomo) através da qual os pontos podem ser escolhidos (os locais de dano intencional). Mapeamos as posições desses eventos experimentalmente …

8 probability  distributions  mathematical-statistics  matlab 

Vamos ter uma matriz simétrica quadrada de distâncias euclidianas quadradas entre n pontos e o vetor alongado n indicando a associação de grupos ou grupos ( k clusters) dos pontos; um cluster pode consistir em \ ge1 point.nDD\bf Dnnnk ≥ 1nnnkkk≥1≥1\ge1 Qual é a maneira mais eficiente ou realmente eficiente …

8 clustering  mean  distance  euclidean 

Eu estou tentando entender como funciona regularização em termos de projeções em um l∗l∗l_* bola, e projeção euclidiana para o simplex. Não sei ao certo o que queremos dizer quando projetamos o vetor de peso nas bolas ou .l 2l1l1l_1l2l2l_2 Eu posso entender o conceito de programa de regularização de …

8 optimization  regularization  projection 

Se R ao quadrado ajustado é superior a R ao quadrado, por que o software estatístico continua relatando o último? Existe algum tipo de situação em que um pesquisador pode preferir usar R ao quadrado em vez de R ao quadrado ajustado?

8 regression 

Se o meu prior é modelado como uma distribuição de probabilidade contínua, digamos, uma distribuição beta distorcida para refletir meu viés em relação a determinados modelos, como posso calcular a probabilidade posterior? O desafio para mim é calcular a probabilidade de um determinado modelo, uma vez que a distribuição contínua …

8 bayesian  prior 

[Em questões recentes, eu estava pensando em gerar vetores aleatórios em R e queria compartilhar essa "pesquisa" como uma sessão de perguntas e respostas independente em um ponto específico.] A geração de dados aleatórios com correlação pode ser feita usando a decomposição de Cholesky da matriz de correlação aqui , …

8 r  correlation  sampling  random-variable  random-generation 

Suponha que eu saiba gerar variáveis ​​aleatórias binomiais independentes. Como posso gerar duas variáveis ​​aleatórias e modo que X \ sim \ text {Bin} (8, \ dfrac {2} {3}), \ quad Y \ sim \ text {Bin} (18, \ dfrac {2 } {3}) \ \ text {e} \ \ text …

8 self-study  correlation  multivariate-analysis  binomial  simulation