Estatísticas e Big Data

Eu estava lendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Mas não consigo entender exatamente por que a fórmula foi construída do jeito que é. O que eu entendo: A FDN deve, em algum nível, medir a frequência com que um termo S aparece em cada um dos documentos, diminuindo em valor à medida que o …

10 machine-learning  clustering  mathematical-statistics  text-mining  natural-language 

Tome uma expectativa da forma para alguma variável aleatória univariada e uma função inteira (ou seja, o intervalo de convergência é toda a linha real)E(f(X))E(f(X))E(f(X))XXXf(⋅)f(⋅)f(\cdot) Eu tenho um momento gerando função para e, portanto, pode facilmente calcular momentos inteiros. Use uma série de Taylor em torno de e aplique a …

10 expected-value  approximation 

O sistema de classificação Elo usa um algoritmo de minimização de descida de gradiente da função de perda de entropia cruzada entre a probabilidade esperada e observada de um resultado em comparações pareadas. Podemos escrever as funções gerais de perda como E=−∑n,ipiLog(qi)E=−∑n,ipiLog(qi) E=-\sum_{n,i} p_i Log (q_i) onde a soma é …

10 regression  optimization  rating 

Quando alguém deseja executar um recorte gradiente ao treinar uma RNN ou CNN? Estou especialmente interessado neste último. Qual seria um bom valor inicial para recorte? (é claro que pode ser ajustado)

10 deep-learning 

Eu queria saber se era possível treinar um SVM (digamos um linear, para facilitar as coisas) usando a retropropagação? Atualmente, estou em um obstáculo, porque só consigo pensar em escrever a saída do classificador como f( x ; θ , b ) = sgn ( θ ⋅ x - ( …

10 machine-learning  neural-networks  svm  gradient-descent  backpropagation 

Quero comparar duas médias de amostra para retornos de estoque de 1 minuto. Suponho que eles sejam distribuídos por Laplace (já verificados) e divido os retornos em 2 grupos. Como posso verificar se são significativamente diferentes? Acho que não posso tratá-los como uma distribuição Normal, porque, embora tenham mais de …

10 r  confidence-interval  laplace-distribution 

Eu tenho um conjunto de dados composto por 10 variáveis. Executei mínimos quadrados parciais (PLS) para prever uma variável de resposta única por essas 10 variáveis, extraí 10 componentes do PLS e calculei a variação de cada componente. Nos dados originais, peguei a soma das variações de todas as variáveis …

10 regression  pca  covariance-matrix  partial-least-squares 

Em uma configuração binomial, a variável aleatória X, que fornece o número de sucessos, é distribuída binomialmente. A proporção da amostra pode então ser calculada como que é o tamanho da sua amostra. Meu livro declara que nXnXn\frac{X}{n}nnn Essa proporção não possui distribuição binomial no entanto, como é simplesmente uma …

10 distributions  binomial  proportion  sample 

Na lmerfunção dentro lme4de Rhá uma chamada para a construção de uma matriz modelo de efeitos aleatórios, ZZZ , como explicado aqui , páginas 7 - 9. O cálculo de ZZZ envolve produtos KhatriRao e / ou Kronecker de duas matrizes, JEuJEuJ_i e XEuXEuX_i . A matriz de JEuJEuJ_i é …

10 r  mixed-model  lme4-nlme  matrix 

A ponderação baseada em precisão é central para a metanálise? Borenstein et al. (2009) escrevem que, para que a meta-análise seja possível, tudo o que é necessário é: Os estudos relatam uma estimativa pontual que pode ser expressa como um único número. A variação pode ser calculada para essa estimativa …

10 variance  sample-size  missing-data  meta-analysis 

Dadas duas distribuições contínuas e , não está claro para mim se a relação de dominância convexa entre elas:FXFX\mathcal{F}_XFYFY\mathcal{F}_Y (0)FX&lt;cFY(0)FX&lt;cFY(0)\quad \mathcal{F}_X <_c \mathcal{F}_Y implica que (1)F−1Y(q)≤F−1X(q),∀q∈[0.5,1](1)FY−1(q)≤FX−1(q),∀q∈[0.5,1](1)\quad F_Y^{-1}(q) \leq F_X^{-1}(q),\quad \forall q\in[0.5,1] detém ou se alguma hipótese adicional é necessária se é para reter?(1)(1)(1) Definição de dominância convexa. Se duas distribuições …

10 probability  probability-inequalities  distributions 

Estou trabalhando em um problema no qual preciso usar o Kriging para prever o valor de algumas variáveis ​​com base em algumas variáveis ​​circundantes. Eu quero implementar seu código sozinho. Então, eu examinei muitos documentos para entender como isso funciona, mas fiquei muito confuso. Geralmente, entendo que é uma média …

10 spatial  interpolation  kriging 

O teste de Durbin-Watson testa a autocorrelação de resíduos no lag 1. Mas o mesmo acontece com o teste da autocorrelação no lag 1 diretamente. Além disso, você pode testar a autocorrelação em lag 2,3,4 e há bons testes de portmanteau para autocorrelação em vários atrasos e obter gráficos agradáveis …

10 time-series  autocorrelation 

Se X∈ Rn, X ∼ N( 0-, σ2I )X∈Rn, X∼N(0 0_,σ2Eu)X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I}) ou seja, fX( x ) = 1( 2 πσ2)n / 2exp(−||x||22σ2)fX(x)=1(2πσ2)n/2exp⁡(−||x||22σ2) f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right) Eu quero uma versão análoga de uma distribuição normal truncada em um caso multivariado. Mais precisamente, I quer para gerar uma norma-constrangido (para …

10 normal-distribution  simulation  random-generation 

A seguir, um nomograma criado a partir do conjunto de dados mtcars com o pacote rms para a fórmula: mpg ~ wt + am + qsec O modelo em si parece bom com R2 de 0,85 e P &lt;0,00001 &gt; mod Linear Regression Model ols(formula = mpg ~ wt + …

10 regression  multiple-regression  data-visualization  predictive-models  regression-strategies