Estatísticas e Big Data

Há uma pergunta com intenção semelhante em programadores.SE . Essa pergunta tem algumas respostas muito boas, mas o tema geral parece ser que, sem auto-estudo, você não chega aonde. Obviamente, há uma grande diferença entre programação e estatística - com a programação, você está apenas aprendendo alguma lógica básica e …

28 self-study  references  teaching 

Existem medidas de similaridade ou distância entre duas matrizes de covariância simétricas (ambas com as mesmas dimensões)? Estou pensando aqui em análogos à divergência KL de duas distribuições de probabilidade ou à distância euclidiana entre vetores, exceto aplicada a matrizes. Eu imagino que haveria algumas medidas de similaridade. Idealmente, eu …

28 distributions  hypothesis-testing  covariance-matrix  kullback-leibler  information-theory 

A API de previsão do Google é um serviço de nuvem em que o usuário pode enviar alguns dados de treinamento para treinar um classificador misterioso e depois solicitar que ele classifique os dados recebidos, por exemplo, para implementar filtros de spam ou prever as preferências do usuário. Mas o …

28 machine-learning 

Estou tentando entender o que significa a suposição de observações independentes . Algumas definições são: "Dois eventos são independentes se e somente se P(a∩b)=P(a)∗P(b)P(a∩b)=P(a)∗P(b)P(a \cap b) = P(a) * P(b) ." ( Dicionário de Termos Estatísticos ) "a ocorrência de um evento não altera a probabilidade de outro" ( Wikipedia …

28 probability  sampling  multilevel-analysis  independence  assumptions 

É útil estudar o código de análise de dados de especialistas. Recentemente, estive lendo o github e há várias pessoas compartilhando código de análise de dados por lá. Isso inclui alguns pacotes R (que obviamente estão disponíveis diretamente no CRAN), mas também vários exemplos de pesquisa reproduzível, principalmente usando o …

28 r  reproducible-research 

Eu uso o pacote "boot" para calcular um valor p aproximado de inicialização de dois lados, mas o resultado está muito longe do valor p de usar t.test. Não consigo descobrir o que fiz de errado no meu código R. Alguém pode me dar uma dica para isso time = …

28 r  hypothesis-testing  p-value  bootstrap  permutation-test 

Alguma sugestão para uma boa fonte para aprender métodos MCMC?

28 references  mcmc 

Como faço para gerar números com base em uma distribuição discreta arbitrária? Por exemplo, eu tenho um conjunto de números que quero gerar. Digamos que eles sejam rotulados de 1 a 3 da seguinte maneira. 1: 4%, 2: 50%, 3: 46% Basicamente, as porcentagens são probabilidades de que elas aparecerão …

28 distributions 

Encontrei uma fórmula para o pseudo no livro Estendendo o modelo linear com R, Julian J. Faraway (p. 59).R2R2R^2 1 - ResidualDevianceNullDeviance1−ResidualDevianceNullDeviance1-\frac{\text{ResidualDeviance}}{\text{NullDeviance}} . Essa é uma fórmula comum para o pseudo para GLMs?R2R2R^2

28 r  regression  generalized-linear-model  r-squared 

Quais são alguns bons artigos descrevendo aplicações de estatísticas que seriam divertidas e informativas de ler? Só para esclarecer, não estou procurando artigos que descrevam novos métodos estatísticos (por exemplo, um artigo sobre regressão de menor ângulo), mas artigos que descrevem como resolver problemas do mundo real. Por exemplo, um …

28 references  application 

Se você se lembrar, de quando começou a análise de séries temporais. Quais ferramentas, pacotes R e recursos da Internet você gostaria que conhecesse? O que estou tentando perguntar é: por onde começar? Especificamente, existem recursos para R que realmente o resumem para quem é "novo" na análise de séries …

28 r  time-series 

Parece haver uma crescente discussão sobre gráficos de pizza. Os principais argumentos contra isso parecem ser: A área é percebida com menos energia que comprimento. Os gráficos de pizza têm uma relação ponto-a-pixel muito baixa No entanto, acho que eles podem ser de alguma forma úteis ao retratar proporções. Concordo …

28 data-visualization  many-categories  pie-chart 

Como você escolhe um modelo dentre os diferentes modelos escolhidos por diferentes métodos (por exemplo, seleção anterior ou posterior)? Além disso, o que é um modelo parcimonioso?

28 regression  model-selection 

Estou procurando uma boa terminologia para descrever o que estou tentando fazer, para facilitar a procura de recursos. Então, digamos que eu tenho dois grupos de pontos A e B, cada um associado a dois valores, X e Y, e eu quero medir a "distância" entre A e B - …

28 multivariate-analysis  terminology  distance-functions 

Qual é o seu método preferido de verificação de convergência ao usar a cadeia de Markov Monte Carlo para inferência bayesiana e por quê?

28 bayesian  mcmc