Estatísticas e Big Data

Eu tenho um conjunto de dados com principalmente variáveis ​​financeiras (120 recursos, exemplos de 4k) que são altamente correlacionadas e muito barulhentas (indicadores técnicos, por exemplo), então eu gostaria de selecionar cerca de 20-30 máx. Para uso posterior no treinamento de modelo (classificação binária - aumentar diminuir). Eu estava pensando …

16 feature-selection  random-forest  python 

Estou tendo problemas para entender a saída do meu lmer()modelo. É um modelo simples de uma variável de resultado (Suporte) com interceptações de estado variáveis ​​/ efeitos aleatórios de estado: mlm1 <- lmer(Support ~ (1 | State)) Os resultados de summary(mlm1)são: Linear mixed model fit by REML Formula: Support ~ …

16 r  mixed-model  random-effects-model  lme4-nlme 

Este é um post longo, então espero que você possa me acompanhar e, por favor, corrija-me onde estiver errado. Meu objetivo é produzir uma previsão diária com base em 3 ou 4 semanas de dados históricos. Os dados são dados de 15 minutos da carga local de uma das linhas …

16 forecasting  arima  model-selection  seasonality  fourier-transform 

Estou tentando fazer um vídeo sobre dados carregados e, em um ponto do vídeo, rolamos cerca de 200 dados, pegamos todos os seis, rolamos novamente, pegamos todos os seis e rolamos pela terceira vez. Tivemos um dado que apareceu 6 três vezes seguidas, o que obviamente não é incomum, porque …

16 probability  dice  law-of-large-numbers 

A máquina de aumento de gradiente de Friedman pode obter melhor desempenho do que a Random Forest de Breiman ? Em caso afirmativo, em quais condições ou que tipo de conjunto de dados pode melhorar o gbm?

16 machine-learning  data-mining  random-forest  boosting 

Eu tenho dados para uma rede de estações meteorológicas nos Estados Unidos. Isso me fornece um quadro de dados que contém data, latitude, longitude e algum valor medido. Suponha que os dados sejam coletados uma vez por dia e conduzidos pelo clima em escala regional (não, não entraremos nessa discussão). …

16 r  regression  data-visualization  pca  spatial 

Entendo que os SVMs de uma classe (OSVMs) foram propostos com a ausência de dados negativos em mente e que eles procuram encontrar limites de decisão que separem um conjunto positivo e algum ponto de ancoragem negativo, dizem a origem. Um trabalho em 2011 propõe SVMs exemplares (ESVMs) que treinam …

16 machine-learning  svm 

Acabei de ler um artigo em que os autores realizaram uma regressão múltipla com dois preditores. O valor geral ao quadrado de r foi 0,65. Eles forneceram uma tabela que dividiu o quadrado do r entre os dois preditores. A tabela ficou assim: rsquared beta df pvalue whole model 0.65 …

16 r  multiple-regression  r-squared  importance  variance-decomposition 

Gostaria de desenhar uma amostra . A Wikipedia sugere usar uma composição de Cholesky ou Eigend , por exemplo , ou x∼N(0,Σ)x∼N(0,Σ)\mathbf{x} \sim N\left(\mathbf{0}, \mathbf{\Sigma} \right)Σ=D1DT1Σ=D1D1T \mathbf{\Sigma} = \mathbf{D}_1\mathbf{D}_1^T Σ=QΛQTΣ=QΛQT \mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^T E, portanto, o exemplo pode ser obtido via: ou onde x=D1vx=D1v \mathbf{x} = \mathbf{D}_1 \mathbf{v} x=QΛ−−√vx=QΛv \mathbf{x} …

16 normal-distribution  random-generation  svd  cholesky 

Eu li que controlar o FDR é menos rigoroso do que controlar o FWER, como na Wikipedia : Os procedimentos de controle de FDR exercem um controle menos rigoroso sobre a descoberta falsa em comparação com os procedimentos da taxa de erro familiar (FWER) (como a correção de Bonferroni). Isso …

16 hypothesis-testing  multiple-comparisons  false-discovery-rate 

Estou trabalhando em conjunto de dados electricitydisponíveis no pacote R TSA. Meu objetivo é descobrir se um arimamodelo será apropriado para esses dados e, eventualmente, se ajustará a eles. Portanto, procedi da seguinte maneira: 1º: Plote a série temporal que resultou se o seguinte gráfico: 2º: Eu queria fazer logon …

16 r  time-series  stationarity 

Considere o modelo linear simples: yy=X′ββ+ϵyy=X′ββ+ϵ\pmb{y}=X'\pmb{\beta}+\epsilon onde ϵi∼i.i.d.N(0,σ2)ϵi∼i.i.d.N(0,σ2)\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2) e X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} ,p≥2p≥2p\geq2 eXXX contém uma coluna de constantes. Meu questão é, dado E(X′X)E(X′X)\mathrm{E}(X'X) , ββ\beta e σσ\sigma , existe uma fórmula para um não trivial limite superior E(R2)E(R2)\mathrm{E}(R^2) *? (assumindo que o modelo foi estimado pelo OLS). * Eu assumi, …

16 linear-model  expected-value 

Se você deseja testar se duas variáveis ​​seguem a mesma distribuição, seria um bom teste simplesmente classificar as duas variáveis ​​e verificar sua correlação? Se for alto (pelo menos 0,9?), As variáveis ​​provavelmente provêm da mesma distribuição. Com distribuição aqui, quero dizer "normal", "qui-quadrado", "gama" etc.

16 hypothesis-testing  distributions 

Fechadas. Esta questão está fora de tópico . No momento, não está aceitando respostas. Deseja melhorar esta pergunta? Atualize a pergunta para que ela esteja no tópico de Validação cruzada. Fechado há 6 anos . Qual é a diferença entre as funções rnorme runifem R?

16 r 

Alguém pode me explicar de maneira intuitiva qual é a periodicidade de uma cadeia de Markov? É definido da seguinte forma: Para todos os estados em SEuEuiSSS = gcd { n ∈ N | p ( n ) i i > 0 } = 1dEudEud_i{ n ∈ N | p( …

16 stochastic-processes  markov-process