Estatísticas e Big Data

Estou tentando identificar o melhor modelo para prever os preços dos automóveis, usando os preços e os recursos disponíveis em sites de anúncios classificados para automóveis. Para isso, usei alguns modelos da biblioteca scikit-learn e modelos de redes neurais do pybrain e neurolab. A abordagem que usei até agora é …

17 machine-learning  neural-networks  random-forest  r-squared  elastic-net 

Eu tenho dois efeitos principais, V1 e V2. Os efeitos de V1 e V2 nas variáveis ​​de resposta são negativos. No entanto, por algum motivo, estou obtendo coeficiente positivo para o termo de interação V1 * V2. Como posso interpretar isso? essa situação é possível?

17 regression  interaction 

Eu não entendo a explicação no Rarquivo de ajuda de effects () : Para um modelo linear ajustado por lmou aov, os efeitos são os valores não correlacionados de grau único de liberdade obtidos projetando os dados nos sucessivos subespaços ortogonais gerados pela decomposição QR durante o processo de ajuste. …

17 r  regression 

Estou tentando descobrir como calcular o índice Rand de um algoritmo de cluster, mas estou parado no momento em como calcular os negativos verdadeiros e verdadeiros. No momento, estou usando o exemplo do livro Uma Introdução à Recuperação de Informações (Manning, Raghavan & Schütze, 2009). Na página 359, eles falam …

17 clustering 

Contexto Esta pergunta usa R, mas trata de questões estatísticas gerais. Estou analisando os efeitos dos fatores de mortalidade (% de mortalidade por doenças e parasitismo) na taxa de crescimento populacional da mariposa ao longo do tempo, onde populações de larvas foram amostradas de 12 locais uma vez por ano …

17 model-selection  autocorrelation  residuals  panel-data  spatio-temporal 

Eu tenho uma variável independente chamada "qualidade"; essa variável possui 3 modalidades de resposta (má qualidade; média qualidade; alta qualidade). Quero introduzir essa variável independente em minha regressão linear múltipla. Quando eu tenho uma variável independente binária (variável dummy, eu posso codificar 0/ 1), é fácil introduzi-la em um modelo …

17 r  regression  categorical-data  multicollinearity  categorical-encoding 

O artigo da Wikipedia sobre análise de componentes principais afirma que Existem algoritmos eficientes para calcular o SVD de sem precisar formar a matriz , portanto, calcular o SVD agora é a maneira padrão de calcular uma análise de componentes principais a partir de uma matriz de dados, a menos …

17 pca  algorithms  svd  numerics 

Atualmente, tento entender o Princípio da Probabilidade e, sinceramente, não entendo nada. Então, vou escrever todas as minhas perguntas como uma lista, mesmo que sejam perguntas bem básicas. O que exatamente significa "toda a informação" no contexto deste princípio? (como em todas as informações em uma amostra estão contidas na …

17 bayesian  likelihood  likelihood-principle 

Tenho duas distribuições nas quais apenas o resumo de 5 números (mínimo, 1º quartil, mediana, 3º quartil, máximo) e tamanho da amostra são conhecidos. Ao contrário da pergunta aqui , nem todos os pontos de dados estão disponíveis. Existe algum teste estatístico não paramétrico que permita verificar se as distribuições …

17 distributions  nonparametric 

Estou interessado em saber se uma "correlação" de três variáveis ​​é alguma coisa e, se for o que, isso seria? Coeficiente de correlação do momento do produto Pearson E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√E{(X-μX)(Y-μY)}Vumar(X)Vumar(Y)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Agora a pergunta para 3 variáveis: É E{(X−μX)(Y−μY)(Z−μZ)}Var(X)Var(Y)Var(Z)−−−−−−−−−−−−−−−−−−√E{(X-μX)(Y-μY)(Z-μZ)}Vumar(X)Vumar(Y)Vumar(Z)\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}} qualquer coisa? Em R parece algo interpretável: > a <- rnorm(100); b …

17 correlation  pearson-r 

Em um pequeno problema de classificação de texto que eu estava olhando, o Naive Bayes exibia um desempenho semelhante ou superior a um SVM e fiquei muito confuso. Eu queria saber quais fatores decidem o triunfo de um algoritmo sobre o outro. Existem situações em que não faz sentido usar …

17 machine-learning  classification  svm  naive-bayes 

Eu tenho o seguinte histograma de dados de contagem. E eu gostaria de ajustar uma distribuição discreta a ela. Não tenho certeza de como devo fazer isso. Devo primeiro sobrepor uma distribuição discreta, digamos, Distribuição binomial negativa, no histograma para obter os parâmetros da distribuição discreta e, em seguida, executar …

17 r  poisson-distribution  discrete-data  computational-statistics  negative-binomial 

A essência da minha pergunta é esta: Seja Y∈RnY∈RnY \in \mathbb{R}^n uma variável aleatória normal multivariada com média μμ\mu e matriz de covariância ΣΣ\Sigma . Deixe- Z:=log(Y)Z:=log⁡(Y)Z := \log(Y) , ou seja, Zi=log(Yi),i∈{1,…,n}Zi=log⁡(Yi),i∈{1,…,n}Z_i = \log(Y_i), i \in \{1,\ldots,n\} . Como eu comparo o AIC de um modelo adequado às realizações …

17 data-transformation  aic  likelihood 

Como posso entender o que o RBF Kernel no SVM faz? Quero dizer, eu entendo a matemática, mas existe uma maneira de ter uma ideia de quando esse kernel será útil? Os resultados do kNN estariam relacionados ao SVM / RBF, já que o RBF contém distâncias vetoriais? Existe uma …

17 svm  kernel-trick 

Eu me pergunto qual é a diferença entre a distribuição normal padrão multivariada e a cópula gaussiana, pois, quando olho para a função de densidade, elas parecem iguais para mim. Minha questão é por que a cópula gaussiana é introduzida ou que benefício a cópula gaussiana gera ou qual é …

17 normal-distribution  copula