Estatísticas e Big Data

Qual é a justificativa, se houver, para usar a Análise Discriminante (DA) nos resultados de um algoritmo de agrupamento como k-means, como eu o vejo de tempos em tempos na literatura (essencialmente sobre subtipos clínicos de transtornos mentais)? Geralmente, não é recomendável testar diferenças de grupo nas variáveis ​​usadas durante …

10 clustering  discriminant-analysis 

Estou comparando dois grupos de mutantes, cada um dos quais pode ter apenas um dentre 21 fenótipos diferentes. Eu gostaria de ver se a distribuição desses resultados é semelhante entre dois grupos. Encontrei um teste on - line que calcula o " teste do qui-quadrado para igualdade de distribuições" e …

10 distributions  chi-squared  contingency-tables 

Eu tenho que fazer regressão logística binária com muitas variáveis ​​independentes. A maioria deles é binária, mas algumas das variáveis ​​categóricas têm mais de dois níveis. Qual é a melhor maneira de lidar com essas variáveis? Por exemplo, para uma variável com três valores possíveis, suponho que duas variáveis ​​fictícias …

10 logistic  categorical-data  spss  ordinal-data  categorical-encoding 

Quero prever itens de varejo (por semana) usando suavização exponencial. No momento, estou preso em como calcular, armazenar e aplicar os índices de sesonalidade. O problema é que todos os exemplos que encontrei lidam com uma espécie de sazonalidade simples. No meu caso, tenho os seguintes problemas: 1. As estações …

10 time-series  seasonality 

Se alguém estiver testando a suposição de homoscedasticidade, os testes paramétricos (Teste de Homogeneidade de Variâncias de Bartlett bartlett.test) e não paramétricos (Teste de Homogeneidade de Variâncias de Figner-Killeen fligner.test) estão disponíveis. Como saber qual tipo usar? Isso deve depender, por exemplo, da normalidade dos dados?

10 r  variance  heteroscedasticity  misspecification 

Estou fazendo uma estimativa da densidade do Kernel, com um conjunto de pontos ponderados (ou seja, cada amostra tem um peso que não é necessário), em N dimensões. Além disso, essas amostras estão apenas em um espaço métrico (ou seja, podemos definir uma distância entre elas), mas nada mais. Por …

10 pdf  smoothing  kernel-smoothing 

O qq-plot pode ser usado para visualizar como duas distribuições são semelhantes (por exemplo, visualizar a semelhança de uma distribuição com uma distribuição normal, mas também para comparar duas distribuições de dados da biblioteca de arte). Existem estatísticas que geram uma medida numérica mais objetiva que represente sua similaridade (preferencialmente …

10 distributions  qq-plot 

Eu tenho os resultados de um exame de sangue administrado a 2500 pessoas quatro vezes em intervalos de seis meses. Os resultados consistem principalmente em duas medidas de resposta imune - uma na presença de certos antígenos da tuberculose, uma na ausência. Atualmente, cada teste é avaliado positivo ou negativo …

10 repeated-measures 

Estou examinando alguns dados de cobertura genômica, que são basicamente uma longa lista (alguns milhões de valores) de números inteiros, cada um dizendo quão bem (ou "profunda") essa posição no genoma é coberta. Gostaria de procurar "vales" nesses dados, ou seja, regiões que são significativamente "mais baixas" do que o …

10 r  distributions  statistical-significance  data-visualization 

Estou procurando a distribuição limitadora da distribuição multinomial sobre os resultados de d. IE, a distribuição dos seguintes limn→∞n−12Xnlimn→∞n−12Xn\lim_{n\to \infty} n^{-\frac{1}{2}} \mathbf{X_n} Onde XnXn\mathbf{X_n} é uma variável aleatória de valor vetorial com densidade fn(x)fn(x)f_n(\mathbf{x}) para xx\mathbf{x} modo que ∑ixi=n∑ixi=n\sum_i x_i=n , xi∈Z,xi≥0xi∈Z,xi≥0x_i\in \mathbb{Z}, x_i\ge 0 e 0 para todos os …

10 asymptotics  multinomial 

Que material de aprendizagem você sugeriria para uma pessoa de CS / estatístico iniciante / matemático iniciante para entrar na análise preditiva?

10 references  predictive-models 

Eu preciso definir o que é um teste de independência, sem o uso de termos fortemente estatísticos.

10 hypothesis-testing  independence  definition 

Atualmente, essa questão não se encaixa no nosso formato de perguntas e respostas. Esperamos que as respostas sejam apoiadas por fatos, referências ou conhecimentos, mas essa pergunta provavelmente solicitará debates, argumentos, pesquisas ou discussões prolongadas. Se você acha que essa pergunta pode ser melhorada e possivelmente reaberta, visite o centro …

10 history 

Ao executar a regressão linear múltipla do OLS, em vez de plotar os resíduos contra os valores ajustados, ploto os resíduos Studentizados (internos) contra os valores ajustados (o mesmo para covariáveis). Esses resíduos são definidos como: e∗Eu= eEus2( 1 - heu eu)---------√eEu∗=eEus2(1 1-hEuEu)\begin{equation} e^*_i = \frac{e_i}{\sqrt{s^2 (1-h_{ii})}} \end{equation} onde é …

10 regression  residuals  diagnostic 

Preciso analisar com R os dados de uma pesquisa médica (com mais de 100 colunas codificadas) que vem em um CSV. Vou usar chocalho para algumas análises iniciais, mas nos bastidores ainda é R. Se eu ler o arquivo.csv () , as colunas com códigos numéricos serão tratadas como dados …

10 r  categorical-data  data-transformation