Estatísticas e Big Data

Qual a diferença entre PCA e MDS clássico? E quanto ao MDS versus o MDS não métrico? Existe um momento em que você prefere um sobre o outro? Como as interpretações diferem?

133 pca  multidimensional-scaling  pcoa 

Isso é algo que me incomoda há um tempo e eu não consegui encontrar respostas satisfatórias online, então aqui vai: Depois de revisar um conjunto de palestras sobre otimização convexa, o método de Newton parece ser um algoritmo muito superior ao da descida do gradiente para encontrar soluções globalmente ótimas, …

132 machine-learning  optimization  gradient-descent  hessian 

Estou lendo um livro de mineração de dados e ele mencionou a estatística Kappa como um meio de avaliar o desempenho de previsão dos classificadores. No entanto, eu simplesmente não consigo entender isso. Também verifiquei a Wikipedia, mas também não ajudou: https://en.wikipedia.org/wiki/Cohen's_kappa . Como o kappa de Cohen ajuda na …

131 classification  data-mining  cohens-kappa 

Em um artigo recente da Amstat News , os autores (Mark van der Laan e Sherri Rose) declararam que "sabemos que, para tamanhos de amostra grandes o suficiente, todos os estudos - incluindo aqueles nos quais a hipótese nula de nenhum efeito é verdadeira - declararão um efeito estatisticamente significativo …

129 hypothesis-testing  sample-size  dataset  large-data 

Eu queria saber qual é a diferença entre a variância e o desvio padrão. Se você calcular os dois valores, fica claro que você obtém o desvio padrão da variação, mas o que isso significa em termos da distribuição que você está observando? Além disso, por que você realmente precisa …

127 variance  mathematical-statistics  standard-deviation 

Estou estudando reconhecimento de padrões e estatística e quase todos os livros que abro sobre o assunto me deparo com o conceito de distância de Mahalanobis . Os livros dão explicações intuitivas, mas ainda não são boas o suficiente para eu realmente entender o que está acontecendo. Se alguém me …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Florestas aleatórias são consideradas caixas pretas, mas recentemente eu estava pensando que conhecimento pode ser obtido de uma floresta aleatória? O mais óbvio é a importância das variáveis, na variante mais simples isso pode ser feito apenas calculando o número de ocorrências de uma variável. A segunda coisa que eu …

127 machine-learning  data-mining  interaction  random-forest  cart 

Estou realmente surpreso que ninguém parece ter perguntado isso já ... Ao discutir estimadores, dois termos freqüentemente usados ​​são "consistentes" e "imparciais". Minha pergunta é simples: qual é a diferença? As definições técnicas precisas desses termos são bastante complicadas e é difícil ter uma idéia intuitiva do que elas significam …

125 unbiased-estimator  estimators  consistency 

Em um grupo de estudantes, existem 2 de 18 que são canhotos. Encontre a distribuição posterior de estudantes canhotos na população, assumindo não informação prévia. Resuma os resultados. Segundo a literatura, 5-20% das pessoas são canhotos. Leve essas informações em consideração no seu anterior e calcule o novo posterior. Eu …

125 distributions  bayesian  prior  posterior 

Eu tenho um quadro de dados com muitas observações e muitas variáveis. Alguns deles são categóricos (não ordenados) e outros são numéricos. Estou procurando associações entre essas variáveis. Consegui calcular a correlação para variáveis ​​numéricas (correlação de Spearman), mas: Não sei como medir a correlação entre variáveis ​​categóricas não ordenadas. …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

Recentemente, tenho lido sobre aprendizagem profunda e estou confuso sobre os termos (ou digamos, tecnologias). Qual é a diferença entre Redes neurais convolucionais (CNN), Máquinas Boltzmann restritas (RBM) e Codificadores automáticos?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

Qual é a diferença entre regressão linear e regressão logística? Quando você usaria cada um?

122 regression  logistic  linear-model 

Temos um experimento aleatório com diferentes resultados formando o espaço amostral Ω ,Ω,\Omega, em que olhamos com interesse em determinados padrões, chamados eventos As álgebras sigma (ou campos sigma) são compostas de eventos aos quais uma medida de probabilidade pode ser atribuída. Certas propriedades são cumpridas, incluindo a inclusão do …

122 probability  intuition  measure-theory  sigma-algebra 

A pergunta (levemente modificada) segue a seguinte e se você nunca a encontrou antes, pode verificá-la no exemplo 6a, capítulo 2, do primeiro curso de probabilidade de Sheldon Ross : Suponha que possuamos uma urna infinitamente grande e uma coleção infinita de bolas rotuladas como número 1, número 2, número …

121 probability  paradox 

Como sei quando escolher entre o Spearman e o de Pearson ? Minha variável inclui satisfação e as pontuações foram interpretadas usando a soma das pontuações. No entanto, essas pontuações também podem ser classificadas.ρρ\rhorrr

119 correlation  pearson-r  spearman-rho