Estatísticas e Big Data

Em que circunstâncias se deve considerar o uso de métodos de regularização (regressão de crista, laço ou ângulo mínimo) em vez de OLS? Caso isso ajude a direcionar a discussão, meu principal interesse é melhorar a precisão preditiva.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Como os diferentes métodos de validação cruzada se comparam em termos de variação e tendência do modelo? Minha pergunta é parcialmente motivada por este tópico: Número ideal de dobras na validação cruzada fold : o CV de deixar um fora é sempre a melhor escolha? KKK. A resposta sugere que …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Qual é a diferença entre os três termos abaixo? percentil quantil quartil

83 descriptive-statistics  quantiles  median  percentage 

Veja este gráfico do Excel: A linha de melhor ajuste do 'senso comum' pareceria uma linha quase vertical, diretamente através do centro dos pontos (editada manualmente em vermelho). No entanto, a linha de tendência linear, conforme decidido pelo Excel, é a linha preta diagonal mostrada. Por que o Excel produziu …

82 regression  excel  intuition 

Ao resolver problemas de negócios usando dados, é comum que pelo menos uma suposição de que a subclasse de estatísticas clássicas seja inválida. Na maioria das vezes, ninguém se incomoda em verificar essas suposições para que você nunca saiba. Por exemplo, que muitas das métricas comuns da Web são "de …

82 model-selection  nonparametric  outliers  robust  philosophical 

A função de ativação tanh é: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Onde , a função sigmóide, é definida como: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Questões: Realmente importa entre usar essas duas funções de ativação (tanh vs. sigma)? Qual função é …

82 machine-learning  neural-networks  optimization  cost-maximization 

Estou procurando uma definição não técnica do laço e para que ele é usado.

82 regression  lasso  regularization  shrinkage 

Eu me deparei com o termo "solução de formulário fechado" com bastante frequência. O que significa uma solução em formato fechado? Como determinar se existe uma solução de formulário fechado para um determinado problema? Pesquisando on-line, encontrei algumas informações, mas nada no contexto do desenvolvimento de um modelo / solução …

82 regression  machine-learning  probability  terminology  stochastic-processes 

Eu sei que isso é de uma história em quadrinhos famosa por tirar proveito de certas tendências analíticas , mas na verdade parece razoável depois de alguns minutos de encarar. Alguém pode descrever para mim o que esse " teorema de Bayes modificado " está fazendo?

81 bayesian  hierarchical-bayesian 

Gostaria de saber se existe uma diferença clara entre as chamadas distribuições infladas com zero (modelos) e as chamadas distribuições com obstáculo a zero (modelos)? Os termos ocorrem com bastante frequência na literatura e suspeito que não sejam os mesmos, mas você poderia me explicar a diferença em termos simples?

81 zero-inflation 

Qual é a maneira mais fácil e limpa de explicar a alguém o conceito de variação? O que isso significa intuitivamente? Se alguém explica isso ao filho, como é que isso acontece? É um conceito que tenho dificuldade em articular - especialmente quando relaciono variação ao risco. Eu o entendo …

81 distributions  variance  standard-deviation  inference  intuition 

Ok, acho que tenho uma amostra decente o suficiente, levando em consideração a regra geral 20: 1: uma amostra bastante grande (N = 374) para um total de 7 variáveis ​​preditoras de candidatos. Meu problema é o seguinte: qualquer que seja o conjunto de variáveis ​​preditoras que eu use, as …

81 regression  logistic  sample-size  unbalanced-classes 

Uma pergunta recente sobre a diferença entre confiança e intervalos confiáveis ​​levou-me a reler o artigo de Edwin Jaynes sobre esse tópico: Jaynes, ET. 175; ( pdf ) No resumo, Jaynes escreve: ... exibimos as soluções bayesianas e ortodoxas para seis problemas estatísticos comuns que envolvem intervalos de confiança (incluindo …

81 bayesian  confidence-interval 

Para um intervalo de previsão de regressão linear você ainda usa E [ Y | X ] = ^ p 0 + β 1 x para gerar o intervalo. Você também usa isso para gerar um intervalo de confiança de E [ Y | x 0 ] . Qual a …

80 regression  confidence-interval  predictive-models  prediction-interval 

Com relação ao valor-p s, estou me perguntando por que % e % parecem ser o padrão-ouro para . Por que não outros valores, como % ou %?111555"statistical significance"666101010 Existe uma razão matemática fundamental para isso, ou é apenas uma convenção amplamente aceita?

80 hypothesis-testing  statistical-significance  p-value  history