Estatísticas e Big Data

Por que um procedimento de validação cruzada supera o problema de sobreajustar um modelo?

34 regression  model-selection  cross-validation 

X e Y não estão correlacionados (-.01); no entanto, quando coloco X em uma regressão múltipla prevendo Y, ao lado de três (A, B, C) outras variáveis ​​(relacionadas), X e duas outras variáveis ​​(A, B) são preditores significativos de Y. Observe que as outras duas ( A, B) as variáveis …

34 regression  correlation  interpretation  causality 

Eu tenho um conjunto de dados que não são ordenados de maneira específica, mas quando plotados claramente têm duas tendências distintas. Uma regressão linear simples não seria realmente adequada aqui devido à clara distinção entre as duas séries. Existe uma maneira simples de obter as duas linhas de tendência lineares …

34 time-series  python  curve-fitting 

Todos eles parecem representar variáveis ​​aleatórias pelos nós e (in) dependência através das bordas (possivelmente direcionadas). Estou especialmente interessado no ponto de vista de um bayesiano.

34 causality  neural-networks  multilevel-analysis  graphical-model 

Estou tentando usar o gráfico de silhueta para determinar o número de cluster no meu conjunto de dados. Dado o conjunto de dados Train , usei o seguinte código matlab Train_data = full(Train); Result = []; for num_of_cluster = 1:20 centroid = kmeans(Train_data,num_of_cluster,'distance','sqeuclid'); s = silhouette(Train_data,centroid,'sqeuclid'); Result = [ Result; …

34 data-visualization  clustering  matlab 

Em uma tarefa recente, fomos instruídos a usar o PCA nos dígitos do MNIST para reduzir as dimensões de 64 (8 x 8 imagens) para 2. Em seguida, tivemos que agrupar os dígitos usando um Modelo de Mistura Gaussiana. O PCA que usa apenas dois componentes principais não produz clusters …

34 classification  clustering  pca  dimensionality-reduction  tsne 

Estou tendo alguma dificuldade em entender como interpretar a saída de importância variável do pacote Random Forest. A diminuição média na precisão é geralmente descrita como "a diminuição na precisão do modelo ao permutar os valores em cada recurso". É uma declaração sobre o recurso como um todo ou sobre …

34 r  machine-learning  classification  random-forest 

Posso chamar um modelo em que o Teorema de Bayes é usado como "modelo bayesiano"? Receio que essa definição possa ser muito ampla. Então, o que exatamente é um modelo bayesiano?

34 machine-learning  bayesian 

Por que a estatística do teste de uma razão de verossimilhança é distribuída qui-quadrado? 2(ln Lalt model−ln Lnull model)∼χ2dfalt−dfnull2(ln⁡ Lalt model−ln⁡ Lnull model)∼χdfalt−dfnull22(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}

34 distributions  chi-squared  likelihood-ratio 

Caro pessoal, notei algo estranho que não sei explicar, não é? Em resumo: a abordagem manual para calcular um intervalo de confiança em um modelo de regressão logística e a função R confint()fornecem resultados diferentes. Eu tenho passado pela regressão logística aplicada de Hosmer & Lemeshow (2ª edição). No terceiro …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

As árvores de decisão parecem ser um método de aprendizado de máquina muito compreensível. Uma vez criado, pode ser facilmente inspecionado por um ser humano, o que é uma grande vantagem em algumas aplicações. Quais são os aspectos fracos práticos das Árvores de Decisão?

34 machine-learning  nonparametric  cart 

Estou curioso sobre procedimentos repetitivos que podem ser usados para descobrir a forma funcional da função y = f(A, B, C) + error_termonde minha única entrada é um conjunto de observações ( y, A, Be C). Observe que a forma funcional de fé desconhecida. Considere o seguinte conjunto de dados: …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Vou começar dizendo que esse é um problema de lição de casa logo de cara. Passei algumas horas procurando como encontrar os valores esperados e concluí que não entendo nada. Seja XXX o CDF F(x)=1−x−α,x≥1F(x)=1−x−α,x≥1F(x) = 1 - x^{-\alpha}, x\ge1 . Encontre E(X)E(X)E(X) para os valores de αα\alpha para os …

34 self-study  expected-value 

Alguém pode me dizer o que significa a frase "aprendiz fraco"? É suposto ser uma hipótese fraca? Estou confuso sobre a relação entre um aprendiz fraco e um classificador fraco. Os dois são iguais ou há alguma diferença? No algoritmo adaboost T=10,. O que isso significa? Por que nós selecionamos …

34 classification  svm  terminology  adaboost  pac-learning 

Venho acompanhando as competições do Kaggle há muito tempo e percebo que muitas estratégias de vitória envolvem o uso de pelo menos uma das "três grandes" qualidades: empacotar, aumentar e empilhar. Para as regressões, em vez de se concentrar na construção de um melhor modelo de regressão possível, a criação …

33 predictive-models  boosting  bagging  stacking  model-averaging