Estatísticas e Big Data

Quero agrupar um conjunto de dados massivo para o qual tenho apenas as distâncias aos pares. Eu implementei um algoritmo k-medoids, mas está demorando muito para ser executado, então eu gostaria de começar reduzindo a dimensão do meu problema aplicando o PCA. No entanto, a única maneira que sei executar …

12 pca  dimensionality-reduction  multidimensional-scaling 

Estou avaliando dois (2) refrigerantes (gases) que foram usados ​​no mesmo sistema de refrigeração. Eu tenho dados de temperatura de sucção saturada ( ), temperatura de condensação ( D ) e amperagem ( Y ) para a avaliação. Existem dois (2) conjuntos de dados; 1º refrigerante ( R 1 ) …

12 regression  regression-coefficients 

Hadley Wickham escreveu um artigo estelar chamado "Tidy Data" ( link ) no JSS no ano passado sobre manipulação de dados e obtenção dos dados em uma condição "ideal" para realizar a análise. No entanto, eu estava pensando quais seriam as melhores práticas em termos de apresentação de dados tabulares …

12 dataset  tables 

Minha formação é em ciência da computação. Sou bastante novo nos métodos de amostragem de Monte Carlo e, embora compreenda a matemática, tenho dificuldade em encontrar exemplos intuitivos para amostragem de importância. Mais precisamente, alguém poderia fornecer exemplos de: uma distribuição original da qual não se pode colher amostras, mas …

12 probability  distributions  sampling  importance-sampling 

Aqui na Wikipedia diz: Para valores suficientemente grandes de λλλ , (digamos λ>1000λ>1000λ>1000 ), a distribuição normal com média λλλ e variância λλλ (desvio padrão λ−−√λ\sqrt{\lambda} ) é uma excelente aproximação à distribuição de Poisson. Se λλλ for maior que cerca de 10, a distribuição normal será uma boa aproximação …

12 normal-distribution  poisson-distribution  approximation 

Queria entender melhor o teste exato de Fisher, então inventei o seguinte exemplo de brinquedo, em que f e m correspondem a homens e mulheres e n e y correspondem a "consumo de refrigerante" como este: > soda_gender f m n 0 5 y 5 0 Obviamente, isso é uma …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Esta é mais uma questão de história da ciência, mas espero que esteja no tópico aqui. Li que Thomas Bayes só conseguiu descobrir o teorema de Bayes para o caso especial de um uniforme anterior, e mesmo assim ele lutou com ele, aparentemente. Considerando o quão trivial é o teorema …

12 bayesian  bayes  history 

Eu uso o pacote de intercalação para treinar um objeto randomForest com 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Depois disso, testei o randomForest em um testSet (novos dados) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) A matriz de confusão me mostra …

12 r  random-forest  prediction  caret 

Está bem estabelecido, pelo menos entre os estatísticos de maior calibre, que os modelos com os valores da estatística da AIC dentro de um certo limite do valor mínimo devem ser considerados tão apropriados quanto o modelo que minimiza a estatística da AIC. Por exemplo, em [1, p.221], encontramos Os …

12 time-series  model-selection  aic 

Alguém tem uma idéia sobre por que a correlação condicional entre duas variáveis ​​é chamada correlação "parcial" e a correlação simples entre elas (portanto, quando não está condicionada a nenhuma outra variável) é chamada correlação "marginal"? Qual é a intuição por trás das palavras "parcial" e "marginal"? O que eles …

12 correlation  terminology  marginal  partial-correlation 

Temos dados com resultado binário e algumas covariáveis. Eu usei regressão logística para modelar os dados. Apenas uma análise simples, nada de extraordinário. O resultado final deve ser uma curva dose-resposta, onde mostramos como a probabilidade muda para uma covariável específica. Algo assim: Recebemos algumas críticas de um revisor interno …

12 regression  logistic  generalized-linear-model  binary-data 

Suponha que eu tenha um momento conjunto gerando a função para uma distribuição conjunta com CDF . É ambos um necessária e suficiente de condição para independência de e ? Eu verifiquei alguns livros, que mencionavam apenas a necessidade:MX,Y(s,t)MX,Y(s,t)M_{X,Y}(s,t)FX,Y(x,y)FX,Y(x,y)F_{X,Y}(x,y)MX,Y(s,t)=MX,Y(s,0)⋅MX,Y(0,t)MX,Y(s,t)=MX,Y(s,0)⋅MX,Y(0,t)M_{X,Y}(s,t)=M_{X,Y}(s,0)⋅M_{X,Y}(0,t)XXXYYY FX,Y(x,y)=FX(x)⋅FY(y)⟹MX,Y(s,t)=MX(s)⋅MY(t)FX,Y(x,y)=FX(x)⋅FY(y)⟹MX,Y(s,t)=MX(s)⋅MY(t)F_{X,Y}(x,y)=F_X(x)\cdot F_Y(y) \implies M_{X,Y}(s,t)=M_X(s) \cdot M_Y(t) Esse resultado é claro, pois …

12 probability  independence  joint-distribution  mgf 

No teorema bayesiano, , e do livro que estou lendo, é chamado de probabilidade , mas presumo que seja apenas a probabilidade condicional de dado , certo? p(x|y)p ( y| x)= p ( x | y) p ( y)p ( x )p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p ( x | y)p(x|y)p(x|y)yxxxyyy A estimativa …

12 bayesian  maximum-likelihood 

Estou ajustando curvas aos meus dados para extrair um parâmetro. No entanto, não tenho certeza sobre qual é a certeza desse parâmetro e como calcularia / expressaria seu intervalo de confiança de %.959595 Digamos que, para um conjunto de dados contendo dados que decaem exponencialmente, ajuste uma curva a cada …

12 confidence-interval  nonlinear-regression  fitting 

Como calcular a incerteza da inclinação da regressão linear com base na incerteza dos dados (possivelmente no Excel / Mathematica)? Exemplo: Vamos ter pontos de dados (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16), mas cada valor y tem uma incerteza de 4. A maioria das funções que encontrei calcularia …

12 regression  uncertainty