Estatísticas e Big Data

Fiz um agrupamento de pontos de coordenadas (longitude, latitude) e encontrei resultados adversos surpreendentes dos critérios de agrupamento para o número ideal de agrupamentos. Os critérios são retirados do clusterCrit()pacote. Os pontos que estou tentando agrupar em um gráfico (as características geográficas do conjunto de dados são claramente visíveis): O …

8 r  clustering 

Alguém conhece um método para comparar duas variáveis ​​com um teste do qui quadrado se as variáveis ​​são de pesquisas diferentes com svydesign()declarações diferentes ? Estou procurando testar uma diferença em uma distribuição variável em duas ondas de uma pesquisa, mas a svychisq()declaração é limitada a um objeto de design. …

8 r  chi-squared  survey 

Eu próprio sempre usaria a média geométrica para estimar uma mediana lognormal. No entanto, no mundo da indústria, algumas vezes o uso da mediana da amostra fornece melhores resultados. A questão, portanto, é: existe um intervalo / ponto de corte a partir do qual a mediana da amostra possa ser …

8 median  unbiased-estimator  lognormal 

Nos últimos dias, venho realizando uma pesquisa sobre mapas auto-organizados para um projeto na escola. Eu entendi que mapas auto-organizados podem ser usados ​​para reduzir a dimensionalidade de seus dados. No entanto, eu não entendo como isso funciona. Por exemplo, digamos que você tenha uma rede 10x10 de neurônios em …

8 data-transformation  dimensionality-reduction  self-organizing-maps 

Na regressão linear, as transformações das variáveis ​​explicativas são feitas para ter correlação máxima com a variável dependente. Qual é a melhor medida de escolha entre várias transformações na regressão logística, pois a variável dependente é binária e não contínua? O objetivo final é maximizar a sustentação (potência preditiva) do …

8 regression  logistic 

Estou trabalhando em um modelo de aprendizado de categoria on-line que usa descida de gradiente estocástico para se ajustar a um modelo de mistura gaussiana. O modelo é baseado no modelo de aprendizado on-line usado em Toscano e McMurray (2010). Embora a descida do gradiente pareça estar funcionando razoavelmente bem …

8 python  online  gaussian-mixture  gradient-descent 

Um pouco como um gráfico de caixa. Não quero dizer necessariamente o intervalo de confiança superior padrão, o intervalo de confiança mais baixo, a média e o gráfico de exibição de intervalo de dados, mas como um gráfico de caixa com apenas três dados: o intervalo de confiança e a …

8 confidence-interval  data-visualization  descriptive-statistics  software  boxplot 

Quero incluir pesos de amostra no meu modelo de regressão quantil, mas não sei como fazer isso. Já defini meu peso, que são pesos replicados já fornecidos no conjunto de dados da pesquisa (calculado no pacote de pesquisa): w<-svrepdesign(variables=data[,1:10],repweights=data[,11:30],type="BRR", combined.weights=TRUE, weights=r.weights, rho=0.5,dbname="") e meu modelo rq é: rq(y~x,tau=c(.1,.2,.3,.4,.5,.6,.7,.8,.9),data=my.data)) Eu tentei …

8 r  quantile-regression 

Li que a validação cruzada de deixar um fora fornece uma “estimativa imparcial do verdadeiro desempenho da generalização” (por exemplo, aqui ) e que essa é uma propriedade vantajosa do CV de deixar um fora. No entanto, não vejo como isso decorre das propriedades do CV individual. Por que o …

8 cross-validation  model-selection  bias 

A distância de Mahalanobis, quando usada para fins de classificação, normalmente assume uma distribuição normal multivariada, e as distâncias do centróide devem seguir uma (com graus de liberdade iguais ao número de dimensões / características). Podemos calcular a probabilidade de um novo ponto de dados pertencer ao conjunto usando sua …

8 hypothesis-testing  classification  multivariate-analysis  poisson-distribution  joint-distribution 

Eu preciso de um único conjunto de dados imputados (por exemplo, para criar um manequim de grupo de países a partir dos dados de renda per capita do país imputado). O R oferece pacotes de pacotes para criar vários dados imputados (por exemplo, Amelia) e combinar resultados de vários conjuntos …

8 r  data-imputation 

Refiro-me a este post, que parece questionar a importância da distribuição normal dos resíduos, argumentando que isso, juntamente com a heterocedasticidade, poderia ser potencialmente evitado usando erros padrão robustos. Eu considerei várias transformações - raízes, logs etc. - e tudo está se mostrando inútil para resolver completamente o problema. Aqui …

8 normal-distribution  stata  least-squares  residuals  assumptions 

Da Wikipedia O modelo linear geral (GLM) é um modelo linear estatístico. Pode ser escrito como 1 Y=XB+U,Y=XB+U, \mathbf{Y} = \mathbf{X}\mathbf{B} + \mathbf{U}, onde YYY é uma matriz com uma série de medidas multivariadas, XXX é uma matriz que pode ser uma matriz de design, BBB é uma matriz contendo …

8 regression  generalized-linear-model  assumptions 

Estou examinando capturas de roedores em seis grades permanentes de captura de roedores medindo 150 x 150 metros e consistindo em 121 estações de captura espaçadas uniformemente a 15 metros. Existem seis grades de captura no local do estudo com tamanho <1000 hectares. Gostaria de interpolar os dados de captura …

8 spatial  interpolation  geostatistics  stationarity 

Várias postagens ( aqui e aqui ) sugerem que a regressão beta é mais apropriada quando a variável dependente é naturalmente limitada entre 0 e 1. Minha pergunta é, deixando de lado a adequação, é tecnicamente incorreto ajustar uma regressão logística à variável de resposta proporcional? R emitirá um aviso, …

8 regression  logistic  proportion