Estatísticas e Big Data

Eu li várias declarações (aparentemente) contraditórias, independentemente de o AdaBoost (ou outras técnicas de reforço) ser menos ou mais propenso a sobreajuste em comparação com outros métodos de aprendizado. Existem boas razões para acreditar em um ou outro? Se depende, do que depende? Quais são as razões pelas quais o …

20 machine-learning  boosting 

Em um cenário em que se observa X1,…,XnX1,…,XnX_1,\ldots,X_n distribuído a partir de uma distribuição com densidade fff , gostaria de saber se existe um estimador imparcial (baseado nos XiXiX_i ) da distância de Hellinger a outra distribuição com densidade f0f0f_0 , ou seja, H(f,f0)={1−∫Xf(x)f0(x)−−−−−−−−√dx}1/2.H(f,f0)={1−∫Xf(x)f0(x)dx}1/2. \mathfrak{H}(f,f_0) = \left\{ 1 - \int_\mathcal{X} …

20 pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger 

Sou um pouco novo em datamining / machine learning / etc. e lemos algumas maneiras de combinar vários modelos e execuções do mesmo modelo para melhorar as previsões. Minha impressão ao ler alguns artigos (que geralmente são interessantes e ótimos em teoria e letras gregas, mas com pouco código e …

20 r  random-forest  k-nearest-neighbour  ensemble 

Por favor, prove que se tivermos duas variáveis ​​(tamanho igual da amostra) XXX e YYY e a variação em XXX for maior que em YYY , a soma das diferenças ao quadrado (ou seja, distâncias euclidianas ao quadrado) entre os pontos de dados em XXX também será maior que que …

20 variance  distance 

Estou usando a biblioteca caretem R para testar vários procedimentos de modelagem. O trainControlobjeto permite especificar um método de re-amostragem. Os métodos são descritos na documentação secção de 2,3 e incluem: boot, boot632, cv, LOOCV, LGOCV, repeatedcve oob. Embora alguns deles sejam fáceis de inferir, nem todos esses métodos estão …

20 r  resampling  caret 

Eu estive analisando a modelagem de efeitos mistos usando o pacote lme4 em R. Estou usando principalmente o lmercomando, por isso vou fazer minha pergunta por meio de código que usa essa sintaxe. Suponho que possa ser uma pergunta fácil geral, é correto comparar dois modelos construídos no lmeruso de …

20 r  mixed-model  lme4-nlme  likelihood-ratio 

Existe algum teste estatístico paramétrico e não paramétrico? Esta pergunta foi feita por um painel de entrevistas. É uma pergunta válida?

20 nonparametric  terminology  parametric 

Duas abordagens comuns para a seleção de variáveis ​​correlacionadas são testes de significância e validação cruzada. Que problema cada um tenta resolver e quando eu preferiria um ao outro?

20 cross-validation  feature-selection 

Eu sempre pensei em regressão logística como simplesmente um caso especial de regressão binomial em que a função link é a função logística (em vez de, digamos, uma função probit). Ao ler as respostas de outra pergunta que tive, parece que posso estar confuso, e há uma diferença entre regressão …

20 regression  logistic  binomial 

Alguém poderia aconselhar se o seguinte faz sentido: Estou lidando com um modelo linear comum com 4 preditores. Estou pensando em abandonar o termo menos significativo. O valor de é um pouco acima de 0,05. Argumentei a favor de abandoná-lo ao longo destas linhas: Multiplicar a estimativa deste termo por …

20 regression  model-selection 

Alguém pode me indicar um documento de pesquisa sobre resultados "Grandes , Pequenos n "? Estou interessado na forma como este problema se manifesta em diferentes contextos de pesquisa, por exemplo, regressão, classificação, teste de Hotelling, etc .pppnnn

20 regression  classification  multivariate-analysis 

Portanto, este é um ajuste estranho, embora realmente eu pense que seja um ajuste estranho para qualquer site, então pensei em experimentar aqui, entre meus irmãos que processam dados. Cheguei à epidemiologia e bioestatística da biologia e ainda tenho alguns hábitos desse campo. Um deles é manter um caderno de …

20 references  software  eda 

Às vezes usamos gráficos de densidade espectral para analisar a periodicidade em séries temporais. Normalmente, analisamos o gráfico por inspeção visual e, em seguida, tentamos tirar uma conclusão sobre a periodicidade. Mas os estatísticos desenvolveram algum teste para verificar se algum pico no gráfico é estatisticamente diferente do ruído branco? …

20 r  time-series  hypothesis-testing 

migrado de math.stackexchange . Estou processando um longo fluxo de números inteiros e estou pensando em rastrear alguns momentos para poder calcular aproximadamente vários percentis para o fluxo sem armazenar muitos dados. Qual é a maneira mais simples de calcular percentis a partir de alguns momentos. Existe uma abordagem melhor …

20 algorithms  mathematical-statistics  moments 

Estou tendo dificuldades para entender a lógica subjacente ao definir a hipótese nula . Nesta resposta, a proposição obviamente aceita geralmente é declarada que a hipótese nula é a hipótese de que não haverá efeito, tudo permanece o mesmo, ou seja, nada de novo sob o sol, por assim dizer. …

20 hypothesis-testing  philosophical