Estatísticas e Big Data

Fui ensinado a aplicar apenas o teste exato de Fisher em tabelas de contingência 2x2. Questões: O próprio Fisher imaginou que esse teste seria usado em tabelas maiores que 2x2 (eu sei que ele o inventou ao tentar adivinhar se uma velha poderia dizer se o leite foi adicionado ao …

29 spss  stata  contingency-tables  fishers-exact 

Quais são alguns podcasts relacionados à análise estatística? Encontrei algumas gravações em áudio de palestras universitárias no ITunes U, mas não conheço nenhum podcast estatístico. A coisa mais próxima que eu conheço é um podcast de pesquisa operacional The Science of Better . Ele aborda questões estatísticas, mas não é …

29 references 

Estou comparando uma amostra e verificando se ela distribui como uma distribuição discreta. No entanto, não tenho muita certeza de que Kolmogorov-Smirnov se aplique. A Wikipedia parece sugerir que não. Caso contrário, como posso testar a distribuição da amostra?

29 hypothesis-testing  discrete-data  kolmogorov-smirnov 

Como posso testar a justiça de um dado de vinte lados (d20)? Obviamente, eu compararia a distribuição de valores com uma distribuição uniforme. Lembro-me vagamente de usar um teste de qui-quadrado na faculdade. Como posso aplicar isso para ver se um dado é justo?

29 hypothesis-testing  chi-squared  goodness-of-fit  uniform  dice 

Qual é a seleção de variável / recurso que você prefere para a classificação binária quando há muito mais variáveis ​​/ recurso do que observações no conjunto de aprendizado? O objetivo aqui é discutir qual é o procedimento de seleção de recurso que reduz melhor o erro de classificação. Podemos …

29 machine-learning  classification  multiple-comparisons  multivariate-analysis  feature-selection 

Eu sempre uso lm()em R para executar regressão linear de yyy em . Essa função retorna um coeficiente tal quexxxββ\betay=βx.y=βx.y = \beta x. Hoje eu aprendi sobre o total de mínimos quadrados e essa princomp()função (análise de componentes principais, PCA) pode ser usada para realizá-lo. Deve ser bom para mim …

29 r  pca  least-squares  deming-regression  total-least-squares 

É possível testar a finitude (ou existência) da variação de uma variável aleatória dada uma amostra? Como nulo, {a variação existe e é finita} ou {a variação não existe / é infinita} seria aceitável. Filosoficamente (e computacionalmente), isso parece muito estranho, porque não deve haver diferença entre uma população sem …

29 hypothesis-testing  variance  central-limit-theorem 

O erro médio percentual absoluto ( mape ) é uma medida de precisão ou erro comum para séries temporais ou outras previsões, MAPE = 100n∑t = 1n| UMAt- Ft|UMAt% ,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, onde são reais e previsões ou previsões correspondentes.UMAtAtA_tFtFtF_t O MAPE é uma porcentagem, para que possamos compará-lo …

29 accuracy  mape 

Na técnica de redução de dimensionalidade, como Análise de Componentes Principais, LDA etc, geralmente o termo coletor é usado. O que é um coletor em termos não técnicos? Se um ponto pertencer a uma esfera cuja dimensão eu quero reduzir, e se houver um ruído e e não estiverem correlacionados, …

29 terminology  manifold-learning 

Existe alguma técnica de autoinicialização disponível para calcular intervalos de previsão para previsões pontuais obtidas, por exemplo, por regressão linear ou outro método de regressão (k-vizinho mais próximo, árvores de regressão etc.)? De alguma forma, sinto que a maneira às vezes proposta de apenas inicializar a previsão do ponto (veja, …

29 bootstrap  prediction-interval 

Estou validando cruzadamente um modelo que está tentando prever uma contagem. Se esse fosse um problema de classificação binária, eu calcularia a AUC fora da dobra e, se esse fosse um problema de regressão, calcularia o RMSE ou o MAE fora da dobra. Para um modelo de Poisson, que métricas …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Disseram-me que é benéfico usar a validação cruzada estratificada, especialmente quando as classes de resposta são desequilibradas. Se um objetivo da validação cruzada é ajudar a explicar a aleatoriedade da nossa amostra de dados de treinamento original, certamente fazer com que cada dobra tenha a mesma distribuição de classe funcionaria …

29 cross-validation  resampling  stratification 

Podemos usar lm()para prever um valor, mas ainda precisamos da equação da fórmula do resultado em alguns casos. Por exemplo, adicione a equação aos gráficos.

29 r  regression  lm 

Eu tenho um modelo de regressão logística binária com um pseudo-quadrado de McFadden de 0,192 com uma variável dependente chamada pagamento (1 = pagamento e 0 = nenhum pagamento). Qual é a interpretação desse pseudo R-quadrado? É uma comparação relativa para modelos aninhados (por exemplo, um modelo de 6 variáveis …

29 regression  self-study  logistic 

Estou tentando usar o scikit-learn para regressão polinomial. Pelo que li, a regressão polinomial é um caso especial de regressão linear. Eu esperava que talvez um dos modelos lineares generalizados do scikit possa ser parametrizado para se ajustar a polinômios de ordem superior, mas não vejo opção para isso. Consegui …

29 regression  machine-learning  large-data  polynomial  scikit-learn