Estatísticas e Big Data

Eu encontrei esta implementação em Python do algoritmo Jenks Natural Breaks e poderia fazê-lo rodar na minha máquina Windows 7. É bem rápido e encontra as quebras em pouco tempo, considerando o tamanho dos meus dados geográficos. Antes de usar esse algoritmo de clustering para meus dados, eu estava usando …

17 python  clustering  optimization 

Tenho usado repetidas vezes a validação cruzada de dobras em k e relatado a média (da métrica de avaliação, por exemplo, sensibilidade, especificidade) calculada como a grande média entre as dobras de diferentes execuções da validação cruzada. No entanto, não tenho certeza de como devo reportar a variação. Encontrei muitas …

17 cross-validation 

Sempre me disseram que um CDF é único, mas um PDF / PMF não é único, por que isso? Você pode dar um exemplo em que um PDF / PMF não é exclusivo?

17 probability  distributions  pdf  cdf 

A resposta para a pergunta Relação entre os coeficientes de correlação phi, Matthews e Pearson? mostra que os três métodos de coeficiente são todos equivalentes. Não sou da estatística, então deve ser uma pergunta fácil. O artigo de Matthews (www.sciencedirect.com/science/article/pii/0005279575901099) descreve o seguinte: "A correlation of: C = 1 indicates …

17 correlation  interpretation  pearson-r 

Estou usando FactoMineRpara reduzir meu conjunto de dados de medidas para as variáveis ​​latentes. O mapa variável acima é claro para mim interpretar, mas estou confuso quando se trata das associações entre as variáveis e componente 1. Olhando o mapa variável, ddpe covestá muito perto do componente no mapa, e …

17 correlation  pca  factor-analysis  association-measure  biplot 

Parece que o KNN é um algoritmo de aprendizado discriminativo, mas não consigo encontrar fontes online que confirmem isso. O KNN é um algoritmo de aprendizado discriminativo?

17 machine-learning  classification  k-nearest-neighbour 

Tenho a seguinte imagem, que me foi contada, é uma ilustração de como a distribuição de probabilidade posterior é uma combinação das distribuições anteriores e de probabilidade. Disseram-me que há algo errado com a imagem, a saber, que a distribuição posterior não pode ter a forma que possui, dada a …

17 distributions  posterior 

Não consigo entender o uso de contrastes polinomiais no ajuste de regressão. Refiro-me, em particular, a uma codificação usada Rpara expressar uma variável de intervalo (variável ordinal com níveis igualmente espaçados), descrita nesta página . No exemplo dessa página , se eu entendi corretamente, R ajusta um modelo para uma …

17 r  regression  contrasts 

Quando falamos de dados longitudinais, podemos nos referir aos dados coletados ao longo do tempo da mesma disciplina / unidade de estudo repetidamente, portanto, existem correlações para as observações dentro da mesma disciplina, ou seja, semelhança dentro da disciplina. Ao falar sobre dados de séries temporais, também nos referimos aos …

17 time-series  terminology  panel-data 

Dados básicos : Eu tenho ~ 1.000 pessoas marcadas com avaliações: '1,' [bom] '2,' [meio] ou '3' [ruim] - esses são os valores que estou tentando prever para as pessoas no futuro . Além disso, tenho algumas informações demográficas: gênero (categórico: M / F), idade (numérico: 17-80) e raça (categórica: …

17 r  regression  logistic  missing-data  ordered-logit 

Recentemente, tenho estudado auto-codificadores. Se bem entendi, um autoencoder é uma rede neural em que a camada de entrada é idêntica à camada de saída. Portanto, a rede neural tenta prever a saída usando a entrada como padrão-ouro. Qual é a utilidade desse modelo? Quais são os benefícios de tentar …

17 neural-networks  autoencoders 

Eu realmente não entendo heterocedasticidade. Gostaria de saber se meu modelo é apropriado ou não, de acordo com esse gráfico.

17 r  regression  residuals  heteroscedasticity  independence 

Estou realmente impressionado com o fato de o Poisson GLM aceitar números não inteiros! Veja: Dados (conteúdo de data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 Script R: t <- read.table("data.txt") names(t) <- …

17 r  generalized-linear-model  poisson-distribution  poisson-regression 

Eu queria saber se existe uma relação entre e um teste-F.R2R2R^2 Normalmente, R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} e mede a intensidade da relação linear na regressão. Um teste F apenas prova uma hipótese. Existe uma relação entre R2R2R^2 e …

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

Sinto-me um pouco desconfortável com a maneira como lidei mentalmente com o paradoxo de Borel e outros "paradoxos" associados que lidam com probabilidade condicional. Para aqueles que estão lendo isso que não estão familiarizados com isso, consulte este link . Minha resposta mental até esse momento foi principalmente ignorá-la, porque …

17 probability  conditional-probability  conditional-expectation