Estatísticas e Big Data

Estou brincando com o conjunto de dados de câncer de mama e criei um gráfico de dispersão de todos os atributos para ter uma idéia de quais têm mais efeito na previsão da classe malignant(azul) de benign(vermelho). Entendo que a linha representa o eixo x e a coluna representa o …

10 r  data-visualization  interpretation  scatterplot 

Tanto bayesglm()(no pacote arm R) quanto várias funções no pacote MCMCpack têm como objetivo fazer uma estimativa bayesiana de modelos lineares generalizados, mas não tenho certeza de que eles estejam computando a mesma coisa. As funções do MCMCpack usam a cadeia de Markov Monte Carlo para obter uma amostra (dependente) …

10 bayesian  generalized-linear-model 

Eu li que o estimador 2SLS ainda é consistente, mesmo com a variável endógena binária ( http://www.stata.com/statalist/archive/2004-07/msg00699.html ). No primeiro estágio, um modelo de tratamento probit será executado em vez de um modelo linear. Existe alguma prova formal para mostrar que o 2SLS ainda é consistente, mesmo quando o 1º …

10 probit  instrumental-variables  endogeneity 

Eu tenho lido um pouco sobre o aumento de algoritmos para tarefas de classificação e o Adaboost em particular. Entendo que o objetivo do Adaboost é levar vários "alunos fracos" e, por meio de um conjunto de iterações sobre dados de treinamento, forçar os classificadores a aprender a prever as …

10 machine-learning  classification  algorithms  boosting 

Uma das questões importantes que os meteorologistas enfrentam é se a série fornecida pode ser prevista ou não? Eu me deparei com um artigo intitulado " Entropia como um indicador prioritário de previsibilidade ", de Peter Catt, que usa Entropia aproximada (ApEn) como uma medida relativa para determinar uma determinada …

10 time-series  forecasting  entropy  maximum-entropy  forecastability 

Atualmente, estou usando o Scikit learn com o seguinte código: clf = svm.SVC(C=1.0, tol=1e-10, cache_size=600, kernel='rbf', gamma=0.0, class_weight='auto') e ajuste e preveja para um conjunto de dados com 7 rótulos diferentes. Eu tenho uma saída estranha. Não importa qual técnica de validação cruzada eu use o rótulo previsto no conjunto …

10 svm  scikit-learn  libsvm  multi-class  optunity 

Vamos supor que eu tenha um vetor - de variáveis ​​dependentes e um vetor - de variável independente. Quando é plotado contra , vejo que há uma relação linear (tendência ascendente) entre os dois. Agora, isso também significa que há uma tendência de queda linear entre e .NNNYYYNNNXXXYYY1X1X\frac{1}{X}YYYXXX Agora, se …

10 regression  data-transformation  linear-model 

Estou preso em como resolver este problema. Portanto, temos duas seqüências de variáveis ​​aleatórias, e para . Agora, e são distribuições exponenciais independentes com parâmetros e . No entanto, em vez de se observar e , observa-se, em vez e .Y i i = 1 , . . . , …

10 self-study  maximum-likelihood  exponential  minimum 

Muitos livros didáticos de estatística fornecem uma ilustração intuitiva de quais são os vetores próprios de uma matriz de covariância: Os vetores u e z formam os vetores próprios (bem, eigenaxes). Isso faz sentido. Mas a única coisa que me confunde é que extraímos autovetores da matriz de correlação , …

10 correlation  pca  covariance-matrix  eigenvalues 

Antes de fazer essa pergunta, pesquisei em nosso site e encontrei muitas perguntas semelhantes (como aqui , aqui e aqui ). Mas acho que essas perguntas relacionadas não foram bem respondidas ou discutidas, portanto, gostaria de levantar essa questão novamente. Eu acho que deve haver uma grande quantidade de audiência …

10 mixed-model  residuals  heteroscedasticity  diagnostic 

Estou usando a análise semântica latente para representar um corpus de documentos no espaço dimensional inferior. Quero agrupar esses documentos em dois grupos usando k-means. Vários anos atrás, eu fiz isso usando o gensim do Python e escrevendo meu próprio algoritmo k-means. Eu determinei os centróides do cluster usando a …

10 k-means  svd  lsa  cosine-distance  cosine-similarity 

Estou ciente de alguns bons exemplos de pares de variáveis ​​aleatórias correlacionadas que são marginalmente normais, mas não são conjuntamente normais. Veja esta resposta de Dilip Sarwate e esta do cardeal . Também estou ciente de um exemplo de duas variáveis ​​aleatórias normais cuja soma não é normal. Veja esta …

10 correlation  normal-distribution  multivariate-analysis  bivariate 

Eu tenho o seguinte modelo m_plotequipado com lme4::lmerefeitos aleatórios cruzados para participantes ( lfdn) e itens ( content): Random effects: Groups Name Variance Std.Dev. Corr lfdn (Intercept) 172.173 13.121 role1 62.351 7.896 0.03 inference1 24.640 4.964 0.08 -0.30 inference2 52.366 7.236 -0.05 0.17 -0.83 inference3 21.295 4.615 -0.03 0.22 0.86 …

10 mixed-model  lme4-nlme  intraclass-correlation 

Recentemente, ouvi uma história em que alguém dizia que, se quisessem matar alguém (e se safar), o fariam com o carro. Eles citaram várias estatísticas sobre o número de mortes relacionadas a automóveis (incluindo carros sobre pedestres), juntamente com estatísticas adicionais sobre o número de motoristas realmente condenados a qualquer …

10 statistical-significance 

O problema Quero ajustar os parâmetros do modelo de uma população simples de mistura 2-Gaussiana. Dado todo o hype em torno dos métodos bayesianos, quero entender se, para esse problema, a inferência bayesiana é uma ferramenta melhor que os métodos de ajuste tradicionais. Até agora, o MCMC tem um desempenho …

10 bayesian  gaussian-mixture  frequentist  pymc  method-comparison