Estatísticas e Big Data

Suponha que eu tenha um conjunto de dados de ponto 2D e queira detectar as direções de todos os máximos locais de variação nos dados, por exemplo: O PCA não ajuda nessa situação, pois é uma decomposição ortogonal e, portanto, não pode detectar ambas as linhas que eu indiquei em …

9 pca  dimensionality-reduction 

Estou observando o tempo exigido pelos juízes para tomar decisões. Cada juiz avalia vários candidatos e pode aprovar ou não o pedido. O caso é finalizado quando o juiz apresenta sua denúncia, que pode demorar algum tempo após a audiência. Alguns casos ainda estavam abertos no final do período do …

9 survival 

Esse é um problema de prática para um exame intermediário. O problema é um exemplo de algoritmo EM. Estou tendo problemas com a parte (f). Listo as partes (a) - (e) para conclusão e, caso tenha cometido um erro anteriormente. Seja sejam variáveis ​​aleatórias exponenciais independentes com taxa . Infelizmente, …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Quando (isto é, vem do modelo de regressão linear), e, nesse caso, resíduos são correlacionados e não independentes. Mas quando fazemos o diagnóstico de regressão e queremos testar a suposição , todo livro sugere sugerir o uso de gráficos Q-Q e testes estatísticos em resíduos que foram projetados para testar …

9 regression  residuals  non-independent 

Estou procurando prever grupos de itens que alguém comprará ... ou seja, tenho várias variáveis ​​dependentes colineares. Em vez de criar 7 ou mais modelos independentes para prever a probabilidade de alguém comprar cada um dos 7 itens e depois combinar os resultados, em quais métodos devo procurar um modelo …

9 r  machine-learning  multivariate-analysis 

Estou trabalhando em um modelo de custo preditivo em que a idade do paciente (uma quantidade inteira medida em anos) é uma das variáveis ​​preditivas. Uma forte relação não linear entre idade e risco de internação é evidente: Estou pensando em uma spline de suavização de regressão penalizada para a …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

Suponha a seguinte configuração: Seja . Também . Além disso, ie é uma combinação convexa dos limites dos respectivos suportes. é comum para todos .Zi=min{ki,Xi},i=1,...,nZi=min{ki,Xi},i=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,nXi∼U[ai,bi],ai,bi>0Xi∼U[ai,bi],ai,bi>0X_i \sim U[a_i, b_i], \; a_i, b_i >0ki=cai+(1−c)bi,0<c<1ki=cai+(1−c)bi,0<c<1k_i = ca_i + (1-c)b_i,\;\; 0 k_i) = 1- \Pr(X_i \le k_i) =1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c=1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c= 1- \frac …

9 distributions  central-limit-theorem  censoring  minimum 

Quero dizer qualquer razão além da conveniência de poder concluir a análise em um único procedimento.

9 anova 

Eu tenho tentado aprimorar meus conhecimentos sobre estatísticas, especialmente em relação à determinação do tamanho da amostra e à análise de poder estatístico. Mas parece que quanto mais eu leio, mais eu preciso ler. Enfim, encontrei uma ferramenta chamada G * Power que parece fazer tudo o que preciso, mas …

9 power-analysis  power  non-central 

É obviamente falacioso supor que a falha em rejeitar o nulo implica que o nulo é verdadeiro. Mas, em um caso em que o nulo não é rejeitado e o intervalo de confiança correspondente (IC) é estreito e centrado em torno de 0, isso não fornece evidência para o nulo? …

9 hypothesis-testing  statistical-significance  confidence-interval 

Estou lendo "Causalidade" da Judea Pearl (segunda edição 2009) e na seção 1.1.5 Independência Condicional e Grapóides, ele afirma: A seguir, é apresentada uma lista (parcial) de propriedades satisfeitas pela relação de independência condicional (X_ || _Y | Z). Simetria: (X_ || _ Y | Z) ==> (Y_ || _X …

9 self-study  bayesian 

Atualmente, estou lendo o livro " Programação Probabilística e Métodos Bayesianos para Hackers ". Eu li alguns capítulos e estava pensando no primeiro capítulo, em que o primeiro exemplo com pymc consiste em detectar um ponto de bruxa em mensagens de texto. Nesse exemplo, a variável aleatória para indicar quando …

9 probability  mcmc  pymc  change-point 

Uma abordagem típica para resolver um problema de classificação é identificar uma classe de modelos candidatos e, em seguida, executar a seleção de modelos usando algum procedimento, como validação cruzada. Normalmente, seleciona-se o modelo com a maior precisão, ou alguma função relacionada que codifica informações específicas do problema, como FβFβ\text{F}_\beta …

9 machine-learning  model-selection  error  scoring-rules 

Numa apresentação hoje, o orador fez a reivindicação acima. Ele disse que, mesmo que o primeiro estágio seja mal especificado, as estimativas do coeficiente do segundo estágio ainda serão válidas. Como um estudante de pós-graduação humilde, não podia pedir uma explicação, então agora implorei por sua ajuda!

9 econometrics  2sls 

Estou trabalhando nos exemplos da Doing Bayesian Data Analysis de Kruschke , especificamente na ANOVA exponencial de Poisson no cap. 22, que ele apresenta como uma alternativa aos testes qui-quadrado freqüentes de independência para tabelas de contingência. Eu posso ver como obtemos informações sobre interações que ocorrem com mais ou …

9 r  bayesian  effect-size  contingency-tables