Estatísticas e Big Data

Eu quero estimar o quantil de alguns dados. Os dados são tão grandes que não podem ser acomodados na memória. E os dados não são estáticos, novos dados continuam chegando. Alguém conhece algum algoritmo para monitorar os quantis dos dados observados até agora com memória e computação muito limitadas? Acho …

24 algorithms  quantiles 

Eu tenho valores de p em muitos testes e gostaria de saber se há realmente algo significativo após a correção para vários testes. A complicação: meus testes não são independentes. O método em que estou pensando (uma variante do Método do Produto de Fisher, Zaykin et al., Genet Epidemiol , …

24 correlation  multiple-comparisons  statistical-significance  genetics 

Quais bons livros didáticos de econometria você recomendaria? Edit: existem alguns livros por aí, com diferentes níveis de sofisticação matemática. Seria bom ter uma idéia de quão técnico é o livro que você está recomendando.

24 econometrics  references 

É "hora do dia" em que o valor pode ser 0, 1, 2, ..., 23 uma variável categórica? Eu ficaria tentado a dizer não, já que 5, por exemplo, está "mais próximo" de 4 ou 6 do que de 3 ou 7. Por outro lado, há descontinuidade entre 23 e …

24 categorical-data  circular-statistics 

Desejo entender melhor como foi derivada a correção da continuidade da distribuição binomial para a aproximação normal. Que método foi usado para decidir que devemos adicionar 1/2 (por que não outro número?). Qualquer explicação (ou um link para a leitura sugerida, além desta , seria apreciada).

24 binomial  asymptotics 

Qual é a notação algébrica para calcular o intervalo de previsão para regressão múltipla? Parece bobagem, mas estou tendo problemas para encontrar uma notação algébrica clara disso.

24 multiple-regression  least-squares  prediction-interval 

Estou tentando entender as diferenças entre os métodos de redução de dimensionalidade linear (por exemplo, PCA) e os não lineares (por exemplo, Isomap). Não consigo entender direito o que a (não) linearidade implica nesse contexto. Eu li na Wikipedia que Por comparação, se o PCA (um algoritmo de redução de …

24 pca  terminology  dimensionality-reduction  pattern-recognition  manifold-learning 

Em Alex Krizhevsky, et al. Na classificação Imagenet com redes neurais convolucionais profundas, eles enumeram o número de neurônios em cada camada (veja o diagrama abaixo). A entrada da rede é 150.528-dimensional, e o número de neurônios nas camadas restantes da rede é dado por 253.440-186.624-64.896-64.896–43.264– 4096–4096-1000. Uma visualização em …

24 neural-networks  deep-learning  conv-neural-network 

Estou tentando fazer análise de séries temporais e sou novo nesse campo. Eu tenho contagem diária de um evento de 2006-2009 e quero ajustar um modelo de série temporal a ele. Aqui está o progresso que eu fiz: timeSeriesObj = ts(x,start=c(2006,1,1),frequency=365.25) plot.ts(timeSeriesObj) O gráfico resultante que recebo é: Para verificar …

24 r  time-series  seasonality  multiple-seasonalities  tbats  hypothesis-testing  beta-distribution  machine-learning  unsupervised-learning  supervised-learning  reinforcement-learning 

Eu estava tentando simular a injeção de pontos aleatórios dentro de um círculo, de forma que qualquer parte do círculo tivesse a mesma probabilidade de ter um defeito. Eu esperava que a contagem por área da distribuição resultante seguisse uma distribuição de Poisson se eu dividir o círculo em retângulos …

24 random-generation  circular-statistics 

Estou usando a matriz de confusão para verificar o desempenho do meu classificador. Estou usando o Scikit-Learn, estou um pouco confuso. Como posso interpretar o resultado de from sklearn.metrics import confusion_matrix >>> y_true = [2, 0, 2, 2, 0, 1] >>> y_pred = [0, 0, 2, 2, 0, 2] >>> …

24 predictive-models  prediction  confusion-matrix 

Estou construindo um modelo e acho que a localização geográfica provavelmente será muito boa em prever minha variável de destino. Eu tenho o CEP de cada um dos meus usuários. No entanto, não tenho muita certeza da melhor maneira de incluir o CEP como um recurso preditivo no meu modelo. …

24 machine-learning  feature-construction  many-categories 

Eu aprendi sobre o PCA algumas aulas atrás na aula e, pesquisando mais sobre esse conceito fascinante, fiquei sabendo sobre o PCA escasso. Eu queria perguntar, se não estou errado, é isso o PCA escasso: No PCA, se você tiver pontos de dados com variáveis , poderá representar cada ponto …

24 machine-learning  pca  sparse 

No SVM, o kernel gaussiano é definido como: onde x, y \ em \ mathbb {R ^ n} . Não conheço a equação explícita de \ phi . Eu quero saber.K(x,y)=exp(−∥x−y∥222σ2)=ϕ(x)Tϕ(y)K(x,y)=exp⁡(−‖x−y‖222σ2)=ϕ(x)Tϕ(y)K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)x,y∈Rnx,y∈Rnx, y\in \mathbb{R^n}ϕϕ\phi Eu também quero saber se ∑iciϕ(xi)=ϕ(∑icixi)∑iciϕ(xi)=ϕ(∑icixi)\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right) onde ci∈Rci∈Rc_i\in \mathbb R . Agora, acho que não …

24 machine-learning  svm  kernel-trick 

Estou tentando modelar dados de contagem em R que aparentemente estão sub-dispersos (parâmetro de dispersão ~ 0,40). Este é provavelmente por isso que um glmcom family = poissonou um binômio negativo ( glm.nbmodelo) não são significativas. Quando olho para as descrições dos meus dados, não tenho a inclinação típica dos …

24 r  poisson-distribution  negative-binomial  beta-binomial  underdispersion