Estatísticas e Big Data

Com um plano prévio, os estimadores ML (freqüentista - máxima verossimilhança) e MAP (bayesiano - máxima a posteriori) coincidem. De maneira mais geral, porém, estou falando de estimadores de pontos derivados como otimizadores de alguma função de perda. Ou seja, (Bayesian) x (x^(. ) = argminE ( L ( X- …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

A variação ponderada imparcial já foi abordada aqui e em outros lugares, mas ainda parece haver uma quantidade surpreendente de confusão. Parece haver um consenso em relação à fórmula apresentada no primeiro link, bem como no artigo da Wikipedia . Isso também se parece com a fórmula usada por R, …

17 variance  weighted-mean  weighted-data 

Antes de fazer minha pergunta, deixe-me apresentar um pouco do que sei sobre estatísticas, para que você tenha uma noção melhor dos tipos de recursos que estou procurando. Sou estudante de psicologia e, como tal, uso estatísticas quase todos os dias. Até agora, estou familiarizado com uma ampla variedade de …

17 mathematical-statistics  references 

Quero realizar uma análise ANCOVA dos dados relativos à densidade de epífitas vegetais. Inicialmente, gostaria de saber se existe alguma diferença na densidade da planta entre duas inclinações, uma N e uma S, mas tenho outros dados, como altitude, abertura do dossel e altura da planta hospedeira. Eu sei que …

17 r  ancova 

Alguém pode me dizer o que exatamente uma análise de validação cruzada fornece como resultado? É apenas a precisão média ou fornece algum modelo com parâmetros ajustados? Porque, ouvi em algum lugar que a validação cruzada é usada para ajuste de parâmetros.

17 cross-validation 

No livro de Bishop, "Classificação de padrões e aprendizado de máquina", descreve uma técnica para regularização no contexto de redes neurais. No entanto, não entendo um parágrafo descrevendo que, durante o processo de treinamento, o número de graus de liberdade aumente junto com a complexidade do modelo. A cotação relevante …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Diga que você está na biblioteca do seu departamento de estatística e se depara com um livro com a figura a seguir na primeira página. Você provavelmente pensará que este é um livro sobre coisas de regressão linear. Qual seria a imagem que faria você pensar em modelos lineares mistos?

17 mixed-model 

Eu tenho esse projeto paralelo onde rastreio os sites de notícias locais do meu país e quero criar um índice de criminalidade e um índice de instabilidade política. Já abordei a parte de recuperação de informações do projeto. Meu plano é fazer: Extração de tópicos não supervisionados. Detecção de duplicatas …

17 machine-learning  classification  text-mining 

Eu tenho um conjunto de dados sobre ensaios agrícolas. Minha variável de resposta é uma taxa de resposta: log (tratamento / controle). Estou interessado no que medeia a diferença, por isso estou executando meta-regressões de ER (sem ponderação, porque parece bastante claro que o tamanho do efeito não está correlacionado …

17 missing-data  meta-analysis  multiple-imputation  meta-regression 

Eu sei que e foi assim que cheguei quando calculei a variação:β0^=y¯−β1^x¯β0^=y¯−β1^x¯\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x} Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2Var(β0^)=Var(y¯−β1^x¯)=Var((−x¯)β1^+y¯)=Var((−x¯)β1^)+Var(y¯)=(−x¯)2Var(β1^)+0=(x¯)2Var(β1^)+0=σ2(x¯)2∑i=1n(xi−x¯)2\begin{align*} Var(\hat{\beta_0}) &= Var(\bar{y} - \hat{\beta_1}\bar{x}) \\ &= Var((-\bar{x})\hat{\beta_1}+\bar{y}) \\ &= Var((-\bar{x})\hat{\beta_1})+Var(\bar{y}) \\ &= (-\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= (\bar{x})^2 Var(\hat{\beta_1}) + 0 \\ &= \frac{\sigma^2 (\bar{x})^2}{\displaystyle\sum\limits_{i=1}^n (x_i - \bar{x})^2} \end{align*} mas é isso que eu cheguei. …

17 regression  self-study 

Mergulhei no campo das redes neurais e fiquei encantado com elas. Finalmente desenvolvi uma estrutura de aplicativos para testar sistemas de negociação em bolsas de valores e agora vou implementar minha primeira rede neural nela. Muito simples e primitivo, não destinado a negociação real, apenas para iniciantes. Eu só quero …

17 machine-learning  neural-networks 

Estou procurando conselhos / recursos / recomendações sobre como melhor formatar gráficos para apresentações. Por experiência, eu sei que um gráfico produzido para publicação impressa não "escala" muito bem quando alguém o exibe com um beamer. O texto geralmente é muito pequeno, as linhas não são grossas o suficiente etc. …

17 data-visualization 

Realizei uma avaliação baseada em computador de diferentes métodos de ajuste de um tipo específico de modelo usado nas ciências paleo. Eu tinha um conjunto de treinamento amplo e, por isso, aleatoriamente (amostragem aleatória estratificada), anotei um conjunto de testes. Ajustei métodos diferentes às amostras do conjunto de treinamento e, …

17 r  mixed-model  multiple-comparisons  simulation  independence 

qual é o pdf do produto de duas variáveis ​​aleatórias independentes X e Y, se X e Y são independentes? X é distribuído normalmente e Y é qui-quadrado. Z = XY se XXX tem distribuição normal X∼N(μx,σ2x)X∼N(μx,σx2)X\sim N(\mu_x,\sigma_x^2) fX(x)=1σx2π−−√e−12(x−μxσx)2fX(x)=1σx2πe−12(x−μxσx)2f_X(x)={1\over\sigma_x\sqrt{2\pi}}e^{-{1\over2}({x-\mu_x\over\sigma_x})^2} eYYYtem distribuição do Qui-quadrado comkkkgrau de liberdade Y∼χ2kY∼χk2Y\sim \chi_k^2 fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)fY(y)=y(k/2)−1e−y/22k/2Γ(k2)u(y)f_Y(y)={y^{(k/2)-1}e^{-y/2}\over{2^{k/2}\Gamma({k\over2})}}u(y) ondeu(y)u(y)u(y)é …

17 normal-distribution  chi-squared  random-variable 

Existe um pacote que preveja a estimativa do modelo de efeitos mistos binomiais negativos inflados a zero em R? Com isso quero dizer: Inflação zero, onde você pode especificar o modelo binomial para inflação zero, como na função zeroinfl no pacote pscl: zeroinfl (y ~ X | Z, dist = …

17 r  mixed-model  count-data  negative-binomial  zero-inflation