Estatísticas e Big Data

Testar a uniformidade é algo comum, no entanto, pergunto-me quais são os métodos para fazer isso em uma nuvem multidimensional de pontos.

13 hypothesis-testing  uniform 

Desejo calcular coeficientes para uma regressão muito semelhante à regressão logística (na verdade, regressão logística com outro coeficiente: quandoApode ser dado). Pensei em usar o GMM para calcular os coeficientes, mas não tenho certeza de quais são as condições de momento que devo usar.A1+e−(b0+b1x1+b2x2+…),A1+e−(b0+b1x1+b2x2+…), \frac{A}{1 + e^{- (b_0 + b_1 …

13 logistic  generalized-moments 

Suponhamos que .Xβ=YXβ=YX\beta =Y Não sabemos exatamente, apenas a sua correlação com cada preditor, .YYYXtYXtYX^\mathrm{t}Y A solução de mínimos quadrados ordinários (OLS) é e não há um problema.β =(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Mas suponha que seja quase singular (multicolinearidade) e você precise estimar o parâmetro ideal da crista. Todos os métodos …

13 regression  multicollinearity 

A questão é simplesmente o que é afirmado no título: Quando a lei dos grandes números falha? O que quero dizer é: em que casos a frequência de um evento não tenderá à probabilidade teórica?

13 probability  mathematical-statistics  law-of-large-numbers 

Sinta-se à vontade para substituir 'diários' por qualquer outro portal útil de conhecimento. Estou interessado em acompanhar os novos desenvolvimentos no aprendizado de máquina, com vistas a aplicações práticas. Não sou um acadêmico que deseja publicar meu próprio trabalho (pelo menos não neste campo), mas quero estar ciente de possíveis …

13 machine-learning  references 

Estou tentando fazer previsões usando um modelo aleatório de floresta em R. No entanto, recebo erros, pois alguns fatores têm valores diferentes no conjunto de testes e no conjunto de treinamento. Por exemplo, um fator Cat_2possui valores 34, 68, 76, etc., no conjunto de testes que não aparecem no conjunto …

13 r  categorical-data  random-forest 

Eu gostaria de obter uma compreensão conceitual do Root Mean Squared Error (RMSE) e do desvio médio da polarização (MBD). Tendo calculado essas medidas para minhas próprias comparações de dados, muitas vezes fiquei perplexo ao descobrir que o RMSE é alto (por exemplo, 100 kg), enquanto o MBD é baixo …

13 standard-deviation  bias 

Existem vários artigos pesados ​​em matemática que descrevem o laço bayesiano, mas eu quero testar o código JAGS correto que eu possa usar. Alguém poderia postar um exemplo de código BUGS / JAGS que implementa regressão logística regularizada? Qualquer esquema (L1, L2, Elasticnet) seria ótimo, mas Lasso é o preferido. …

13 bayesian  logistic  lasso  jags  regularization 

Eu queria saber como você geraria dados de uma equação de regressão de Poisson em R? Estou meio confuso sobre como abordar o problema. Portanto, se eu assumir que temos dois preditores e X 2 que são distribuídos . E a interceptação é 0 e ambos os coeficientes são iguais …

13 r  regression  poisson-distribution  simulation 

Existem métodos simples de transformar dados de nível ordinal em nível de intervalo (assim como existem para fazê-lo ao contrário)? E performable no Excel ou SPSS? Tendo os dados, digamos: 10 perguntas no nível ordinal (digamos, escala 0-5, onde 0 = "nada", 5 = "o tempo todo"), quero transformá-las para …

13 categorical-data  ordinal-data  scales  psychometrics 

Em resposta a uma pergunta sobre seleção de modelos na presença de multicolinearidade , Frank Harrell sugeriu : Coloque todas as variáveis ​​no modelo, mas não teste o efeito de uma variável ajustada para os efeitos das variáveis ​​concorrentes ... Os testes de chunk de variáveis ​​concorrentes são poderosos porque …

13 r  model-selection  multicollinearity 

Gostaria de executar alguns testes bidimensionais de Kolmogorov-Smironov para determinar se uma distribuição bidimensional se encaixa com uma referência. Existe algum pacote ou aplicativo que eu possa usar de maneira relativamente direta? Ou existe um algoritmo diferente que é preferível? Eu tenho apenas um conhecimento estatístico básico.

13 kolmogorov-smirnov 

Existem alternativas rápidas para o algoritmo EM para aprender modelos com variáveis ​​latentes (especialmente pLSA)? Eu estou bem em sacrificar a precisão em favor da velocidade.

13 machine-learning  optimization  expectation-maximization  lsa 

Na maioria dos exemplos que vi até agora de redes neurais, a rede é usada para classificação e os nós são transformados com uma função sigmóide. No entanto, eu gostaria de usar uma rede neural para gerar um valor real contínuo (realisticamente, a saída estaria geralmente na faixa de -5 …

13 regression  neural-networks 

Essa também é uma questão que se relaciona muito com o Python como bancada de estatística e o Excel como bancada de estatística . Eu sei que há uma enorme discussão sobre Ruby versus Python, mas este não é o ponto nesta questão. Eu pensei que Ruby ser mais rápido …

13 r  python  software  ruby