Estatísticas e Big Data

Para um modelo linear, a solução OLS fornece o melhor estimador linear e imparcial para os parâmetros. É claro que podemos negociar um viés por uma variação menor, por exemplo, regressão de crista. Mas minha pergunta é sobre não ter viés. Existem outros estimadores que são um tanto usados, que …

15 regression  least-squares  linear  unbiased-estimator  blue 

Estou ciente do tipo de regularização LASSO, cume e rede elástica em modelos de regressão linear. Questão: Esse tipo de estimativa penalizada (ou similar) pode ser aplicada à modelagem ARIMA (com uma parte MA não vazia)? pmaxpmaxp_{max}qmaxqmaxq_{max} q ⩽ q m um xp⩽pmaxp⩽pmaxp \leqslant p_{max}q⩽qmaxq⩽qmaxq \leqslant q_{max} Minhas perguntas adicionais …

15 time-series  arima  lasso  regularization  ridge-regression 

Estou tentando entender a troca de viés e variância, a relação entre o viés do estimador e o viés do modelo e o relacionamento entre a variação do estimador e a variação do modelo. Cheguei a estas conclusões: Tendemos a superestimar os dados quando negligenciamos o viés do estimador, ou …

15 regression  variance  bias  bias-variance-tradeoff 

Estou confuso sobre a suposição de normalidade em medidas repetidas ANOVA. Especificamente, estou me perguntando que tipo de normalidade exatamente deve ser satisfeita. Ao ler a literatura e as respostas no currículo, encontrei três formulações distintas dessa suposição. A variável dependente dentro de cada condição (repetida) deve ser distribuída normalmente. …

15 anova  repeated-measures  assumptions  normality-assumption 

Foi-nos solicitado por um revisor que forneça valores p para melhor entender as estimativas do modelo em nosso modelo multinível bayesiano. O modelo é um modelo típico de múltiplas observações por participante em um experimento. Nós estimamos o modelo com Stan, para que possamos calcular facilmente estatísticas posteriores adicionais. Atualmente, …

15 bayesian  p-value  multilevel-analysis 

Gostaria de saber se a floresta aleatória de Breiman (floresta aleatória no pacote R randomForest) usa como critério de divisão (critério para seleção de atributo) o ganho de informações ou o índice Gini? Tentei descobrir isso em http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm e na documentação do pacote randomForest em R. Mas a única coisa …

15 r  random-forest  entropy  gini 

Eu sou novo em aprendizado de máquina. Estou estudando um curso de aprendizado de máquina (Stanford University) e não entendi o que significa essa teoria e qual é a sua utilidade. Gostaria de saber se alguém poderia detalhar essa teoria para mim. Esta teoria é baseada nesta equação.

15 machine-learning  probability  pac-learning 

Eu experimentei um pouco com diferentes implementações do Perceptron e quero ter certeza de que entendi as "iterações" corretamente. Regra original do perceptron de Rosenblatt Tanto quanto eu entendo, no algoritmo clássico de Rosenblatt perceptron, os pesos são atualizados simultaneamente após cada exemplo de treinamento via Δw(t+1)=Δw(t)+η(target−actual)xiΔw(t+1)=Δw(t)+η(target−actual)xi\Delta{w}^{(t+1)} = \Delta{w}^{(t)} + …

15 optimization  gradient-descent  perceptron 

Qual é a opinião freqüente da história do voltímetro e suas variações? A idéia por trás disso é que uma análise estatística que apela a eventos hipotéticos teria que ser revisada se fosse descoberto mais tarde que esses eventos hipotéticos não poderiam ter ocorrido como assumido. A versão da história …

15 likelihood  frequentist 

Estou usando a Análise de componentes principais (PCA) para criar um índice necessário para minha pesquisa. Minha pergunta é como devo criar um único índice usando os principais componentes retidos calculados por meio do PCA. Por exemplo, decidi reter 3 componentes principais depois de usar o PCA e calculei as …

15 pca  factor-analysis  rating  composite  scale-construction 

Para dados distribuídos normalmente, o desvio padrão e o desvio absoluto médio são relacionados por:σσ\sigmaMADMAD\text{MAD} σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,σ=Φ−1(3/4)⋅MAD≈1.4826⋅MAD,\sigma=\Phi^{-1}(3/4)\cdot \text{MAD}\approx1.4826\cdot\text{MAD}, onde é a função de distribuição cumulativa para a distribuição normal padrão.Φ()Φ()\Phi() Existe alguma relação semelhante para outras distribuições?

15 distributions  standard-deviation  mad 

Para simular uma distribuição normal a partir de um conjunto de variáveis ​​uniformes, existem várias técnicas: O algoritmo de Box-Muller , no qual se amostram duas variáveis ​​uniformes independentes em e as transforma em duas distribuições normais padrão independentes via: Z 0 = √(0,1)(0,1)(0,1)Z0=−2lnU1−−−−−−√cos(2πU0)Z1=−2lnU1−−−−−−√sin(2πU0)Z0=−2lnU1cos(2πU0)Z1=−2lnU1sin(2πU0) Z_0 = \sqrt{-2\text{ln}U_1}\text{cos}(2\pi U_0)\\ Z_1 = …

15 normal-distribution  simulation  uniform 

Estou tentando usar a análise de variáveis ​​instrumentais para inferir causalidade com dados observacionais. Eu me deparei com uma regressão de mínimos quadrados em dois estágios (2SLS) que provavelmente abordará a questão da endogeneidade em minha pesquisa. No entanto, eu gostaria que o primeiro estágio fosse OLS e o segundo …

15 stata  probit  instrumental-variables  2sls 

Meu professor de estatística diz isso, todos os livros que eu olho afirmam: o teste pós-hoc não é científico. Você deve derivar uma hipótese da teoria primeiro e depois coletar dados e analisá-los. Mas eu realmente não entendo qual é o problema. Suponhamos que vejo números de vendas para diferentes …

15 post-hoc 

Minha formação é principalmente em aprendizado de máquina e eu estava tentando aprender o que significava o teste de Hipótese Bayesiana. Eu estou bem com a interpretação bayesiana da probabilidade e estou familiarizada com ela no contexto de modelos gráficos probabilísticos. No entanto, o que está me confundindo é o …

15 hypothesis-testing