Estatísticas e Big Data

Eu tenho um conjunto de dados que representa decaimento exponencial. Eu gostaria de ajustar uma função exponencial a esses dados. Eu tentei log transformando a variável de resposta e, em seguida, usando menos quadrados para ajustar uma linha; usando um modelo linear generalizado com uma função de link de log …

12 modeling  generalized-linear-model  least-squares  nonlinear-regression  curve-fitting 

Eu sou novo no aprendizado de máquina. Eu apliquei regressão logística e floresta aleatória em um mesmo conjunto de dados. Então, recebo importância variável (coeficiente absoluto para regressão logística e importância variável para floresta aleatória). Estou pensando em combinar os dois para obter uma importância variável final. Alguém pode compartilhar …

12 machine-learning  logistic  random-forest 

Gostaria de comparar dois modelos de regressão linear que representam taxas de degradação de um mRNA ao longo do tempo sob duas condições diferentes. Os dados para cada modelo coletados independentemente. Aqui está o conjunto de dados. Log de tempo (horas) (tratamento A) log (tratamento B) 0 2,02 1,97 0 …

12 regression  model-comparison 

Eu sou novo no kernels e encontrei um problema ao tentar kernelizar o kNN. Preliminares Estou usando um kernel polinomial: K(x,y)=(1+⟨x,y⟩)dK(x,y)=(1+⟨x,y⟩)dK(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d O kNN euclidiano típico usa a seguinte métrica de distância: d(x,y)=||x−y||d(x,y)=||x−y||d(\mathbf{x}, \mathbf{y}) = \vert\vert \mathbf{x} - \mathbf{y} \vert\vert Deixe mapear para algum espaço …

12 machine-learning  kernel-trick  k-nearest-neighbour 

Tenho uma pergunta sobre a otimização de parâmetros quando uso a validação cruzada de 10 vezes. Quero perguntar se os parâmetros devem ser corrigidos ou não durante o treinamento do modelo de cada dobra, ou seja, (1) selecione um conjunto de parâmetros otimizados para a precisão média de cada dobra. …

12 cross-validation  optimization  parameterization 

Esta questão está intimamente relacionada a este post Suponha que eu tenha uma variável aleatória e defina . Eu gostaria de encontrar a função densidade de probabilidade de .X∼Gamma(k,θ)X∼Gamma(k,θ)X \sim \text{Gamma}(k, \theta)Y=log(X)Y=log⁡(X)Y = \log(X)YYY Eu originalmente pensava que definiria apenas a função de distribuição cumulativa X, faria uma alteração na …

12 pdf  gamma-distribution 

Estou tentando fazer uma regressão logit ordenada. Estou executando o modelo assim (apenas um pequeno modelo burro que estima o número de empresas em um mercado a partir de medidas de renda e população). Minha pergunta é sobre previsões. nfirm.opr<-polr(y~pop0+inc0, Hess = TRUE) pr_out<-predict(nfirm.opr) Quando executo o prognóstico (que estou …

12 r  econometrics  logit  ordered-logit 

Quando executo o PCA em um determinado conjunto de dados, a solução fornecida é única? Ou seja, obtenho um conjunto de coordenadas 2D, com base nas distâncias entre pontos. É possível encontrar pelo menos mais um arranjo dos pontos que atenderiam a essas restrições? Se a resposta for sim, como …

12 pca 

Eu tenho dados com alguns milhares de recursos e desejo fazer a seleção recursiva de recursos (RFE) para remover os não informativos. Eu faço isso com sinal de intercalação e RFE. No entanto, comecei a pensar, se quero obter o melhor ajuste de regressão (floresta aleatória, por exemplo), quando devo …

12 regression  feature-selection  random-forest  caret 

Então, eu tenho uma matriz de cerca de 60 x 1000. Estou vendo como 60 objetos com 1000 recursos; os 60 objetos são agrupados em 3 classes (a, b, c). 20 objetos em cada classe, e sabemos a verdadeira classificação. Gostaria de fazer um aprendizado supervisionado neste conjunto de 60 …

12 machine-learning  classification  multilevel-analysis  random-forest  stratification 

Ultimamente, tenho visto muitos trabalhos sobre representações esparsas, e a maioria deles usa a norma ℓpℓp\ell_p e faz alguma minimização. Minha pergunta é, qual é o ℓpℓp\ell_p norma, e o ℓp,qℓp,q\ell_{p, q} norma mista? E como eles são relevantes para a regularização? obrigado

12 machine-learning  regularization  sparse 

Qual é / são as diferenças entre estes modelos de representação de texto: Conjunto de palavras e modelo de espaço vetorial?

12 machine-learning  text-mining 

Quais são os testes estatísticos padrão para verificar se os dados seguem distribuições exponenciais ou normais?

12 distributions  hypothesis-testing  normal-distribution 

Por favor, explique qual é a diferença entre se duas variáveis ​​são linearmente dependentes ou linearmente correlacionadas . Procurei o artigo da Wikipedia, mas não obtive um exemplo adequado. Por favor, explique com exemplo.

12 correlation  non-independent 

Ao ler um livro sobre regressão, encontrei o seguinte parágrafo: A estimativa dos mínimos quadrados de um vetor de coeficientes de regressão linear ( ) éββ\beta β^= ( XtX)- 1Xtyβ^=(XtX)−1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y que, quando visto como uma função dos dados (considerando os preditores X como constantes), é uma combinação …

12 multiple-regression