Estatísticas e Big Data

Quando fazemos várias regressões e dizemos que estamos olhando para a mudança média na variável para uma mudança na variável , mantendo todas as outras variáveis ​​constantes, em quais valores estamos mantendo as outras variáveis ​​constantes? A média deles? Zero? Qualquer valor?xyyyxxx Estou inclinado a pensar que tem algum valor; …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

Como posso verificar se meus dados, por exemplo, salário, são de uma distribuição exponencial contínua em R? Aqui está o histograma da minha amostra: . Qualquer ajuda será muito apreciada!

22 r  distributions  goodness-of-fit  exponential 

Nesse comentário , Nick Cox escreveu: A divisão em classes é um método antigo. Embora os histogramas possam ser úteis, o moderno software estatístico facilita e aconselha a adequação das distribuições aos dados brutos. Binning simplesmente joga fora os detalhes que são cruciais para determinar quais distribuições são plausíveis. O …

22 references  histogram  binning  qq-plot 

Estou executando NNN testes estatísticos independentes com a mesma hipótese nula e gostaria de combinar os resultados em um valor ppp . Parece que existem dois métodos "aceitos": o método de Fisher e o método de Stouffer . Minha pergunta é sobre o método de Stouffer. Para cada teste separado, …

22 hypothesis-testing  chi-squared  p-value  multiple-comparisons  combining-p-values 

Esta pergunta é sobre uma maneira eficiente de calcular os componentes principais. Muitos textos sobre PCA linear advogam o uso da decomposição de valor singular dos dados casewise . Ou seja, se temos dados XX\bf X e queremos substituir as variáveis ​​(suas colunas ) por componentes principais, fazemos SVD: X=USV′X=USV′\bf …

22 pca  algorithms  svd  matrix-decomposition 

Pelo pouco que sei, o algoritmo EM pode ser usado para encontrar a máxima probabilidade ao zerar as derivadas parciais em relação aos parâmetros da probabilidade, fornecendo um conjunto de equações que não podem ser resolvidas analiticamente. Mas é necessário o algoritmo EM, em vez de usar alguma técnica numérica, …

22 expectation-maximization 

Sinto que isso pode ter sido solicitado em outro lugar, mas não com o tipo de descrição básica de que preciso. Eu sei que não paramétrico depende da mediana em vez da média para comparar ... alguma coisa. Eu também acredito que se baseia em "graus de liberdade" (?) Em …

22 hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Atualmente, estou estudando "Raciocínio Bayesiano e Aprendizado de Máquina", de David Barber, e é um livro extremamente bem escrito e envolvente para aprender os fundamentos. Então, uma pergunta para alguém que já fez isso. Quais são os próximos livros que devo ler depois de ter proficiência razoável na maioria dos …

22 machine-learning  bayesian  references  graphical-model 

Eu estive pesquisando o pacote de inicialização no R e, embora tenha encontrado uma série de boas instruções sobre como usá-lo, ainda não encontrei nada que descreva exatamente o que está acontecendo "nos bastidores". Por exemplo, neste exemplo , o guia mostra como usar os coeficientes de regressão padrão como …

22 r  regression  bootstrap  regression-coefficients 

Eu tenho um conjunto de dados que é estatísticas de um fórum de discussão na web. Eu estou olhando para a distribuição do número de respostas que um tópico deve ter. Em particular, criei um conjunto de dados com uma lista de contagens de respostas de tópicos e, em seguida, …

22 r  regression  nonlinear-regression 

O aprendizado de máquina é um assunto importante para qualquer estatístico se familiarizar? Parece que o aprendizado de máquina é estatística. Por que os programas de estatística (graduação e pós-graduação) não exigem aprendizado de máquina?

22 machine-learning  careers 

Ao trabalhar com muitas variáveis ​​de entrada, geralmente nos preocupamos com a multicolinearidade . Existem várias medidas de multicolinearidade que são usadas para detectar, pensar e / ou comunicar a multicolinearidade. Algumas recomendações comuns são: O múltiplo para uma variável específica R2jRj2R^2_j A tolerância, , para uma variável específica 1−R2j1−Rj21-R^2_j …

22 multicollinearity 

Eu estava querendo experimentar com uma rede neural um problema de classificação que estou enfrentando. Encontrei artigos que falam de RBMs. Mas pelo que entendi, eles não são diferentes de ter uma rede neural multicamada. Isso é preciso? Além disso, trabalho com R e não estou vendo nenhum pacote enlatado …

22 r  machine-learning  classification  neural-networks 

O pacote randomForest de R não pode lidar com fatores com mais de 32 níveis. Quando recebe mais de 32 níveis, emite uma mensagem de erro: Não é possível lidar com preditores categóricos com mais de 32 categorias. Mas os dados que tenho têm vários fatores. Alguns deles têm mais …

22 r  random-forest  many-categories 

Para variação não ponderada , existe a variação da amostra corrigida por viés, quando a média foi estimada a partir dos mesmos dados: Var(X):=1Var ( X) : = 1n∑Eu( xEu- μ )2Var(X): =1n∑Eu(xEu-μ)2\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2Var ( X) : = 1n - 1∑Eu( xEu- E[ X] )2Var(X): =1n-1∑Eu(xEu-E[X])2\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2 Estou …

22 variance  unbiased-estimator  weighted-mean  weighted-data  bias-correction