Perguntas com a marcação «binning»

Suponha que eu queira ver se meus dados são exponenciais com base em um histograma (ou seja, inclinado para a direita). Dependendo de como agrupar ou agrupar os dados, posso obter histogramas totalmente diferentes. Um conjunto de histogramas fará parecer que os dados são exponenciais. Outro conjunto fará parecer que …

111 distributions  data-visualization  histogram  binning 

Eu estou querendo saber qual é o valor em pegar uma variável preditora contínua e dividi-la (por exemplo, em quintis), antes de usá-la em um modelo. Parece-me que, ao separar a variável, perdemos informações. É só assim que podemos modelar efeitos não lineares? Se mantivéssemos a variável contínua e não …

78 regression  modeling  continuous-data  binning  regression-strategies 

Nesse comentário , Nick Cox escreveu: A divisão em classes é um método antigo. Embora os histogramas possam ser úteis, o moderno software estatístico facilita e aconselha a adequação das distribuições aos dados brutos. Binning simplesmente joga fora os detalhes que são cruciais para determinar quais distribuições são plausíveis. O …

22 references  histogram  binning  qq-plot 

Quando devemos discretizar / bin variáveis ​​/ recursos independentes e quando não devemos? Minhas tentativas de responder à pergunta: Em geral, não devemos fazer bin, porque o binning perderá informações. Na verdade, o binning está aumentando o grau de liberdade do modelo; portanto, é possível causar um ajuste excessivo após …

21 machine-learning  continuous-data  feature-construction  binning 

Deixando de lado a questão óbvia da baixa potência do qui-quadrado nesse tipo de circunstância, imagine fazer um teste de qui-quadrado para alguma densidade com parâmetros não especificados, agrupando os dados. Para concretude, digamos uma distribuição exponencial com média desconhecida e um tamanho de amostra de digamos 100. Para obter …

18 chi-squared  goodness-of-fit  binning 

Digamos que tenho duas distribuições que quero comparar em detalhes, ou seja, de uma maneira que torne a forma, a escala e a mudança facilmente visíveis. Uma boa maneira de fazer isso é plotar um histograma para cada distribuição, colocá-los na mesma escala X e empilhar um embaixo do outro. …

14 data-visualization  histogram  pdf  binning 

Estou procurando o método ideal de binning (discretização) de uma variável contínua em relação a uma variável binária de resposta (destino) e com o número máximo de intervalos como parâmetro. exemplo: eu tenho um conjunto de observações de pessoas com variáveis ​​"height" (numeral contínuo) e "has_back_pains" (binário). Eu quero discretizar …

11 r  dataset  optimization  discrete-data  binning 

Estou tentando entender o resultado do teorema de Bayes, aplicado ao exemplo clássico da mamografia, com o toque perfeito da mamografia. Isso é, Incidência de câncer: .01.01.01 Probabilidade de uma mamografia positiva, dado o paciente ter câncer: 1 111 Probabilidade de uma mamografia positiva, dado que o paciente não tem …

11 bayesian  bayes  binning  diagnosis 

Estou tentando inteligentemente classificar uma coleção classificada. Eu tenho uma coleção de pedaços de dados. Mas eu sei que esses dados se encaixam em posições desiguais. Não sei como escolher de forma inteligente os pontos de extremidade para ajustar adequadamente os dados. por exemplo:mnnnmmm Digamos que eu tenha 12 itens …

11 clustering  histogram  binning 

Então, eu li algumas postagens sobre por que o binning sempre deve ser evitado. Uma referência popular para essa afirmação é este link . A principal fuga é que os pontos de escaneamento (ou pontos de corte) são bastante arbitrários, bem como a perda de informações resultante, e esses splines …

10 classification  categorical-data  continuous-data  splines  binning 

Quero quantificar o relacionamento entre duas variáveis, A e B, usando informações mútuas. A maneira de calculá-lo é impedindo as observações (veja o código Python de exemplo abaixo). No entanto, quais fatores determinam qual número de posições é razoável? Eu preciso que a computação seja rápida, então não posso simplesmente …

10 information-theory  mutual-information  binning 

Este é apenas um exemplo que encontrei várias vezes, portanto não tenho dados de amostra. Executando um modelo de regressão linear em R: a.lm = lm(Y ~ x1 + x2) x1é uma variável contínua. x2é categórico e possui três valores, por exemplo, "Baixo", "Médio" e "Alto". No entanto, a saída …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

Estou implementando vários algoritmos para estimar o melhor número de caixas a serem usadas para histogramas. A maioria dos que estou implementando está descrita na página "Histograma" da Wikipedia, na seção " Número de posições e largura " *. Estou preso a um problema com a fórmula de Doane: 1 …

9 histogram  binning 

Ao pensar em um histograma como uma estimativa da função de densidade, é razoável pensar no tamanho da caixa como um parâmetro que restringe a estrutura local dessa função? Além disso, existe uma maneira melhor de articular esse raciocínio?

8 machine-learning  distributions  regularization  histogram  binning 

Várias fontes sugerem que existem muitas consequências negativas da discretização (categorização) de variáveis ​​contínuas antes da análise estatística (amostra de referências [1] - [4] abaixo). Por outro lado, [5] sugere que algumas técnicas de aprendizado de máquina são conhecidas por produzir melhores resultados quando variáveis ​​contínuas são discretizadas (também observando …

8 machine-learning  generalized-linear-model  categorical-data  binning