Estatísticas e Big Data

Suponha que eu tenha um tamanho pequeno de amostra, por exemplo, N = 100 e duas classes. Como devo escolher os tamanhos de treinamento, validação cruzada e conjunto de testes para aprendizado de máquina? Eu escolheria intuitivamente Tamanho do conjunto de treinamento como 50 Conjunto de validação cruzada tamanho 25 …

10 machine-learning  sampling  svm  cross-validation  sample-size 

Eu li alguma literatura que florestas aleatórias não podem se superestimar. Embora isso pareça ótimo, parece bom demais para ser verdade. É possível que os rfs se ajustem demais?

10 random-forest  overfitting 

Toda a literatura de Modelagem de Distribuição de Espécies sugere que, ao prever a presença / ausência de uma espécie usando um modelo que gera probabilidades (por exemplo, RandomForests), é importante escolher a probabilidade de limiar pela qual classificar uma espécie como presença ou ausência é importante e deve-se nem …

10 r  classification  random-forest  threshold 

Portanto, se a estatística qui-quadrado de Pearson for fornecida para uma tabela , sua forma será:1×N1 1×N1 \times N ∑i=1n(Oi−Ei)2Ei∑Eu=1 1n(OEu-EEu)2EEu\sum_{i=1}^n\frac{(O_i - E_i)^2}{E_i} Então isso se aproxima de , a distribuição qui-quadrado com graus de liberdade, à medida que o tamanho da amostra aumenta. n - 1 Nχ2n−1χn-1 12\chi_{n-1}^2n−1n-1 1n-1NNN …

10 chi-squared  asymptotics 

Eu escrevi uma função simples em Python para calcular a média ponderada exponencialmente: def test(): x = [1,2,3,4,5] alpha = 0.98 s_old = x[0] for i in range(1, len(x)): s = alpha * x[i] + (1- alpha) * s_old s_old = s return s No entanto, como posso calcular o …

10 standard-deviation  python  exponential-smoothing 

Suponha que tenhamos uma amostra aleatória de uma distribuição normal bivariada que tem zeros como média e uns como variâncias; portanto, o único parâmetro desconhecido é a covariância. Qual é o MLE da covariância? Eu sei que deveria ser algo como 1 1n∑nj = 1xjyj1n∑j=1nxjyj\frac{1}{n} \sum_{j=1}^{n}x_j y_jmas como sabemos disso?

10 normal-distribution  mathematical-statistics  maximum-likelihood  bivariate 

Entendo que, se eu tenho dois modelos A e B e A está aninhado em B, dados alguns dados, posso ajustar os parâmetros de A e B usando o MLE e aplicar o teste de razão de verossimilhança generalizada de log. Em particular, a distribuição do teste deve ser com …

10 maximum-likelihood  model-selection  likelihood-ratio 

Ensacamento é o processo de criação de N alunos em N amostras de bootstrap diferentes e, em seguida, calcula a média de suas previsões. Minha pergunta é: por que não usar outro tipo de amostragem? Por que usar amostras de bootstrap?

10 bagging 

Ultimamente, tenho lido muito sobre o Dynamic Time Warping (DTW). Estou muito surpreso que não exista nenhuma literatura sobre a aplicação do DTW em séries temporais irregulares, ou pelo menos não consegui encontrá-lo. Alguém poderia me dar uma referência a algo relacionado a esse problema, ou talvez até uma implementação …

10 time-series  correlation  distance  unevenly-spaced-time-series 

Estou tendo problemas para entender como a varImpfunção funciona para um modelo randomForest com o caretpacote. No exemplo abaixo, o recurso var3 recebe zero importância usando a varImpfunção de cursor , mas o modelo final randomForest subjacente tem importância diferente de zero para o recurso var3. Por que esse é …

10 r  caret  random-forest 

Ao conduzir uma análise de intervenção com dados de séries temporais (também conhecidos como séries temporais interrompidas), como discutido aqui, por exemplo, um requisito que tenho é estimar o ganho total (ou perda) devido à intervenção - ou seja, número de unidades ganhas ou perdidas (a variável Y ) Não …

10 regression  time-series  intervention-analysis  dynamic-regression 

Estive repensando uma resposta que dei a uma pergunta há algumas semanas A validação cruzada de retenção produz um único conjunto de testes que pode ser usado repetidamente para demonstração. Todos nós concordamos que isso é, de muitas maneiras, uma característica negativa, uma vez que o conjunto estendido pode se …

10 cross-validation 

Estou trabalhando com alguns dados do mundo real e os modelos de regressão estão produzindo alguns resultados contra-intuitivos. Normalmente confio nas estatísticas, mas, na realidade, algumas dessas coisas não podem ser verdadeiras. O principal problema que estou vendo é que um aumento em uma variável está causando um aumento na …

10 r  regression  regression-coefficients  computational-statistics 

Então, por exemplo, aqui estão as definições que recebo dos livros-texto padrão Variável - característica da população ou amostra. ex. Preço de uma ação ou nota em um teste Dados - valores reais observados Portanto, para um relatório de duas colunas [Nome | Renda] os nomes das colunas seriam as …

10 dataset  ordinal-data  categorical-data  ratio 

Distribuições estáveis são invariantes sob convoluções. Quais sub-famílias das distribuições estáveis ​​também são fechadas sob multiplicação? No sentido de que se f ∈ F e g ∈ F , então a função de densidade de probabilidade do produto, f ⋅ g (até uma constante de normalização) também pertence a F …

10 distributions  convolution  stable-distribution