Estatísticas e Big Data

Eu tenho várias perguntas relacionadas a alunos fracos na aprendizagem de grupos (por exemplo, impulsionar). Isso pode parecer idiota, mas quais são os benefícios de usar alunos fracos em oposição a alunos fortes? (por exemplo, por que não aumentar com métodos de aprendizado "fortes"?) Existe algum tipo de força "ideal" …

22 machine-learning  boosting  ensemble 

Contexto: Ao longo do tempo, adquiri um conjunto de heurísticas sobre como planejar efetivamente a associação entre duas variáveis ​​numéricas. Eu imagino que a maioria das pessoas que trabalha com dados teria um conjunto de regras semelhante. Exemplos de tais regras podem ser: Se uma das variáveis ​​for inclinada positivamente, …

22 data-visualization  correlation  teaching  rule-of-thumb  scatterplot 

Primeiro, eu não sou estatístico. No entanto, tenho feito análise estatística de redes para meu doutorado. Como parte da análise de rede, plotei uma Função de Distribuição Cumulativa Complementar (CCDF) de graus de rede. O que descobri foi que, diferentemente das distribuições de rede convencionais (por exemplo, WWW), a distribuição …

22 curve-fitting  networks  lognormal  power-law 

Alguém tentou a previsão de séries temporais usando a regressão de vetores de suporte? Entendo máquinas de vetores de suporte e entendo parcialmente a regressão de vetores de suporte, mas não entendo como elas podem ser usadas para modelar séries temporais, especialmente séries temporais multivariadas. Eu tentei ler alguns papéis, …

22 time-series  machine-learning  svm 

O coeficiente de Pearson entre duas variáveis ​​é bastante alto (r = 0,65). Mas quando eu classifico os valores das variáveis ​​e corro a correlação de Spearman, o valor de cofficient é muito menor (r = 0,30). Qual é a interpretação disso?

22 correlation  spearman-rho 

Ao tentar selecionar entre vários modelos ou o número de recursos a serem incluídos, digamos previsão, posso pensar em duas abordagens. Divida os dados em conjuntos de treinamento e teste. Melhor ainda, use bootstrapping ou validação cruzada k-fold. Treine sempre no conjunto de treinamento e calcule o erro sobre o …

22 bayesian  model-selection  cross-validation  feature-selection 

Eu estava tentando ajustar dados de uma série temporal (sem réplicas) usando o modelo de regressão. Os dados têm a seguinte aparência: > xx.2 value time treat 1 8.788269 1 0 2 7.964719 6 0 3 8.204051 12 0 4 9.041368 24 0 5 8.181555 48 0 6 8.041419 96 …

22 r  regression  statistical-significance  anova  p-value 

Eu tenho uma pergunta sobre variáveis ​​aleatórias. Vamos supor que temos duas variáveis aleatórias e . Digamos que seja Poisson distribuído com o parâmetro e seja Poisson distribuído com o parâmetro .Y X λ 1 Y λ 2XXXYYYXXXλ1λ1\lambda_1YYYλ2λ2\lambda_2 Quando você constrói a fratura a partir de e a chama de …

22 random-variable  poisson-distribution 

Eu pensei que cauda pesada = cauda gorda, mas alguns artigos que li me deram a sensação de que não são. Um deles diz: cauda pesada significa que a distribuição tem um j-ésimo momento para algum número inteiro j. Além disso, todos os dfs no domínio do pote de atração …

22 distributions 

Isso está um pouco relacionado a outra pergunta que eu fiz. A questão que tenho é que, ao fazer testes de hipóteses, quando a hipótese alternativa é um intervalo, a hipótese nula ainda é um valor pontual. Como exemplo, ao testar se um coeficiente de correlação é maior que 0,5, …

22 hypothesis-testing 

Você pode usar o conjunto de dados de decatlo {FactoMineR} para reproduzir isso. A questão é por que os autovalores computados diferem daqueles da matriz de covariância. Aqui estão os autovalores usando princomp: > library(FactoMineR);data(decathlon) > pr <- princomp(decathlon[1:10], cor=F) > pr$sd^2 Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 1.348073e+02 2.293556e+01 …

22 r  pca 

Contexto: Em um esforço para estruturar as peças centrais que encontrei na teoria e na estática das probabilidades, criei um documento de referência focado nos fundamentos matemáticos (disponíveis aqui ). Ao compartilhar este documento, espero fornecer aos estudantes de estatística um resumo abrangente do material principal ensinado nos cursos de …

22 teaching 

Suponha que eu tenha o seguinte modelo yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i onde , é um vetor de variáveis ​​explicativas, são os parâmetros da função não linear e , onde é naturalmente matriz.yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK×KK×KK\times K O objetivo é o usual para estimar e . A escolha óbvia é o método de máxima verossimilhança. …

22 maximum-likelihood  optimization  covariance 

Eu tenho quatro variáveis ​​numéricas. Todos eles são medidas da qualidade do solo. Quanto maior a variável, maior a qualidade. O intervalo para todos eles é diferente: Var1 de 1 a 10 Var2 de 1000 a 2000 Var3 de 150 a 300 Var4 de 0 a 5 Preciso combinar quatro …

22 ranking  valuation 

Não sei se o assunto entra no interesse CrossValidated. Você vai me dizer. Eu tenho que estudar um gráfico (a partir da teoria dos grafos ) ou seja. Eu tenho um certo número de pontos que estão conectados. Eu tenho uma mesa com todos os pontos e os pontos de …

22 r  data-visualization  graph-theory