Estatísticas e Big Data

Pela lei (fraca / forte) de grandes números, dados alguns pontos de amostra iid de uma distribuição, sua amostra significa converge para a média de distribuição, tanto em probabilidade quanto em, como tamanho da amostra vai para o infinito.{ xEu∈ Rn, i = 1 , … , N}{xEu∈Rn,Eu=1 1,…,N}\{x_i \in …

10 estimation  expected-value  law-of-large-numbers 

Eu tenho matrizes de correlação calculadas com conjuntos de dados (observados) usando a função MATLAB .PPP(n×n)(n×n)(n \times n)PPP(m×n)(m×n)(m \times n)corrcoef Como faço para comparar e analisar essas matrizes de correlação entre si?PPP Quais são os testes, métodos e / ou pontos de verificação?

10 correlation  matlab  matrix 

Eu tenho dados para a população de vários peixes diferentes, amostrados durante um período de cerca de 5 anos, mas em um padrão muito irregular. Às vezes, há meses entre as amostras, às vezes há várias amostras em um mês. Há também muitas contagens 0 Como lidar com esses dados? …

10 time-series  multilevel-analysis  unevenly-spaced-time-series 

Estou usando o SVM para prever diabetes. Estou usando o conjunto de dados BRFSS para esse fim. O conjunto de dados tem as dimensões de e está inclinado. A porcentagem de s na variável de destino é de 11 %, enquanto os s constituem os 89 % restantes .432607 × …

10 r  classification  svm  feature-selection  e1071 

Estou analisando alguns problemas e, em alguns, para testar os coeficientes, às vezes vejo pessoas usando a distribuição de Student e às vezes vejo distribuição normal. Qual é a regra?

10 regression  distributions  hypothesis-testing 

Sabemos pela teoria das medidas que existem eventos que não podem ser medidos, ou seja, não são mensuráveis ​​pela língua de Lebes. Como chamamos um evento com probabilidade em que a medida de probabilidade não está definida? Que tipos de declarações faríamos sobre esse evento?

10 probability  estimation 

Eu trabalho com bastante modelagem estatística, como Hidden Markov Models e Gaussian Mixture Models. Vejo que o treinamento de bons modelos em cada um desses casos requer uma grande quantidade (> 20.000 frases para HMMs) de dados que são obtidos de ambientes semelhantes ao uso final. Minha pergunta é: Existe …

10 modeling  hidden-markov-model  gaussian-mixture 

Eu calculei uma matriz de correlação de um conjunto de dados que contém 455 pontos de dados, cada ponto de dados contendo 14 características. Portanto, a dimensão da matriz de correlação é 14 x 14. Fiquei me perguntando se existe um limite para o valor do coeficiente de correlação, que …

10 correlation  statistical-significance  multiple-comparisons 

Estou usando o pacote randomForest no R para desenvolver um modelo de floresta aleatória para tentar explicar um resultado contínuo em um conjunto de dados "amplo" com mais preditores do que amostras. Especificamente, estou ajustando um modelo de RF, permitindo que o procedimento selecione entre um conjunto de ~ 75 …

10 r  machine-learning  hypothesis-testing  model-selection  random-forest 

Gostaria de combinar o previsto e o backcast (ou seja, os valores passados ​​previstos) de um conjunto de dados de séries temporais em uma série temporal, minimizando o Erro de Previsão Quadrada Média. Digamos que eu tenha séries temporais de 2001 a 2010 com uma lacuna para o ano de …

10 r  time-series  forecasting  data-imputation 

Eu tenho uma série de funções, cada uma supostamente representando a densidade de uma variável aleatória entre agentes. Cada função também possui um domínio, que descreve quais valores da variável aleatória são válidos. Agora, se eu lembrar corretamente minhas classes de estatísticas, se eu pegar a integral de uma das …

10 distributions  probability 

Eu não estou tão familiarizado com esta literatura, então, por favor, perdoe-me se essa é uma pergunta óbvia. Como o AIC e o BIC dependem da maximização da probabilidade, parece que eles só podem ser usados ​​para fazer comparações relativas entre um conjunto de modelos que tentam ajustar um determinado …

10 model-selection  aic  bic 

As respostas a esta pergunta no SO retornaram um conjunto de aproximadamente 125 nomes de uma a duas letras: /programming/6979630/what-1-2-letter-object-names-conflict-with-existing -r-objects [1] "Ad" "am" "ar" "as" "bc" "bd" "bp" "br" "BR" "bs" "by" "c" "C" [14] "cc" "cd" "ch" "ci" "CJ" "ck" "Cl" "cm" "cn" "cq" "cs" "Cs" "cv" [27] …

10 r  data-visualization 

Eu sempre acreditei que o tempo não deveria ser usado como um preditor em regressões (inclusive gam's), porque, então, alguém simplesmente "descreveria" a tendência em si. Se o objetivo de um estudo é encontrar parâmetros ambientais como temperatura, etc., que expliquem a variação da atividade de um animal, digamos, então …

10 r  time-series  mixed-model  nonlinear-regression 

Eu tenho três conjuntos de dados de séries temporais que estou procurando comparar. Eles foram tomados em 3 períodos separados de cerca de 12 dias. São as médias, máximas e mínimas de contagens de cabeça obtidas em uma biblioteca da faculdade durante as semanas finais. Eu tive que fazer média, …

10 time-series  multiple-comparisons  trend