Estatísticas e Big Data

Estou treinando um classificador LDA de várias classes com 8 classes de dados. Durante a execução do treinamento, recebo um aviso de: "As variáveis ​​são colineares " Estou recebendo uma precisão de treinamento de mais de 90% . Estou usando a biblioteca scikits-learn no Python para treinar e testar os …

16 machine-learning  classification  python  scikit-learn  discriminant-analysis 

Estou trabalhando na minha tese de mestrado no momento e planejei executar as estatísticas com o SigmaPlot. No entanto, depois de passar algum tempo com meus dados, cheguei à conclusão de que o SigmaPlot pode não ser adequado para o meu problema (posso estar enganado) e iniciei minhas primeiras tentativas …

16 r  anova  nonparametric  heteroscedasticity 

Estimar parâmetros usando a estimativa de máxima verossimilhança (MLE) envolve avaliar a função de verossimilhança, que mapeia a probabilidade da amostra (X) ocorrer para valores (x) no espaço de parâmetros (θ), dada uma família de distribuição (P (X = x | θ ) sobre os valores possíveis de θ (nota: …

16 maximum-likelihood 

Costumo lidar com dados confusos da pesquisa, que exigem muita limpeza antes que qualquer estatística possa ser feita. Eu costumava fazer isso "manualmente" no Excel, às vezes usando fórmulas do Excel e, às vezes, verificando as entradas uma a uma. Comecei a executar cada vez mais essas tarefas escrevendo scripts …

16 r  data-cleaning 

Suponha que w1,w2,…,wnw1,w2,…,wnw_1,w_2,\ldots,w_n e x1,x2,...,xnx1,x2,...,xnx_1,x_2,...,x_n são cada iid extraído de algumas distribuições, com wiwiw_i independente de xixix_i . O wiwiw_i é estritamente positivo. Você observa todo o wiwiw_i , mas não o xixix_i ; em vez disso você observa ∑ixiwi∑ixiwi\sum_i x_i w_i . Estou interessado em estimar E[x]E⁡[x]\operatorname{E}\left[x\right] partir desta …

16 standard-error  weighted-mean 

O processo exponencial univariado de Hawkes é um processo de ponto emocionante com uma taxa de chegada de eventos de: λ(t)=μ+∑ti&lt;tαe−β(t−ti)λ(t)=μ+∑ti&lt;tαe−β(t−ti) \lambda(t) = \mu + \sum\limits_{t_i<t}{\alpha e^{-\beta(t-t_i)}} onde são os horários de chegada do evento.t1,..tnt1,..tn t_1,..t_n A função de probabilidade do log é −tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln(μ+αe−β(tj−ti))−tnμ+αβ∑(e−β(tn−ti)−1)+∑i&lt;jln⁡(μ+αe−β(tj−ti)) - t_n \mu + \frac{\alpha}{\beta} \sum{( …

16 maximum-likelihood  stochastic-processes  likelihood 

Estou tentando me educar sobre a causalidade de Granger. Eu li as postagens neste site e vários bons artigos online. Também encontrei uma ferramenta muito útil, a Calculadora Bivariada de Causalidade de Granger - Estatísticas Gratuitas , que permite que você insira suas séries temporais e calcule as Estatísticas de …

16 time-series  causality  granger-causality 

Eu tenho uma matriz de nnn valores reais, que tem média μoldμold\mu_{old} e desvio padrão σoldσold\sigma_{old} . Se um elemento da matriz xixix_i for substituído por outro elemento xjxjx_j , a nova média será μnew=μold+xj−xinμnew=μold+xj−xin\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n} A vantagem dessa abordagem é que ela requer computação constante, independentemente do valor de nnn …

16 standard-deviation  online 

Estou usando plm()para estimar modelos de efeitos fixos do formulário y ~ x + time + time:fixed_trait onde fixed_traité uma variável que varia entre indivíduos, mas é constante dentro dos indivíduos. O ponto de interagir timecom fixed_traité permitir o efeito defixed_trait variar ao longo do tempo. (Estou trabalhando aqui no …

16 r 

Preciso prever as seguintes 4 variáveis ​​para a 29ª unidade de tempo. Eu tenho aproximadamente 2 anos de dados históricos, onde 1, 14 e 27 são todos do mesmo período (ou época do ano). No final, estou fazendo uma decomposição no estilo Oaxaca-Blinder em WWW , , e .w c …

16 time-series  forecasting  multivariate-analysis  var 

Isso é algo que estou vendo feito como uma espécie de método ad-hoc e me parece muito suspeito, mas talvez esteja faltando alguma coisa. Já vi isso em regressão múltipla, mas vamos simplificar: yEu= β0 0+ β1xEu+ εEuyEu=β0 0+β1xEu+εEu y_{i} = \beta_{0} + \beta_{1} x_{i} + \varepsilon_{i} Agora pegue os …

16 regression  residuals 

Mais uma pergunta geral. Estou executando um SVM rbf para modelagem preditiva. Acho que meu programa atual definitivamente precisa de um pouco de velocidade. Eu uso o scikit learn com uma pesquisa de grade grossa a fina + validação cruzada. Cada execução do SVM leva cerca de um minuto, mas …

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

Eu me deparei com algumas maneiras básicas de medir a complexidade das redes neurais: Ingênuo e informal: conte o número de neurônios, neurônios ocultos, camadas ou camadas ocultas Dimensão VC (Eduardo D. Sontag [1998] "Dimensão VC de redes neurais" [ pdf ].) Um curso de complexidade computacionalTC0 0dTCd0 0TC^0_d granular …

16 neural-networks  theory  vc-dimension  pac-learning 

Olá gurus estatísticos e assistentes de programação R, Estou interessado em modelar capturas de animais em função das condições ambientais e do dia do ano. Como parte de outro estudo, tenho contagens de capturas em ~ 160 dias em três anos. Em cada um desses dias, tenho temperatura, precipitação, velocidade …

16 r  mixed-model  autocorrelation  bugs  panel-data 

Eu sei que o pdf de uma distribuição de lei de energia ép(x)=α−1xmin(xxmin)−αp(x)=α−1xmin(xxmin)−α p(x) = \frac{\alpha-1}{x_{\text{min}}} \left(\frac{x}{x_{\text{min}}} \right)^{-\alpha} Mas o que significa intuitivamente se, por exemplo, os preços das ações seguem uma distribuição da lei de energia? Isso significa que as perdas podem ser muito altas, mas pouco frequentes?

16 distributions  power-law