Estatísticas e Big Data

Muitas das perguntas que eu postei no SE no mês passado têm o objetivo de me ajudar a resolver esse problema específico. Todas as perguntas foram respondidas, mas ainda não consigo encontrar uma solução. Então, imaginei que deveria apenas perguntar o problema que estou tentando resolver diretamente. Seja , onde …

10 distributions  mathematical-statistics  probability  function 

Estou tentando atualizar meu modelo baseado em lm () para obter erros e testes padrão corretos. Estou realmente confuso qual matriz de VC usar. O sandwichpacote oferece vcovHC, vcovHACe NeweyWest. Enquanto o primeiro é responsável apenas pela heterocedasticidade, os dois últimos são responsáveis ​​pela correlação serial e pela heterocedasticidade. No …

10 regression  time-series  neweywest 

P: Para quais dados é apropriado usar a modelagem do espaço de estados e a filtragem Kalman em vez de suavizar splines e vice-versa? Existe alguma relação de equivalência entre os dois? Estou tentando entender de alto nível como esses métodos se encaixam. Naveguei pelos novos modelos Gaussian Estimation: Sequence …

10 kalman-filter  splines  state-space-models 

Existe uma função para testar a hipótese de que a correlação de dois vetores é igual a um determinado número, digamos 0,75? Usando cor.test, posso testar cor = 0 e ver se 0,75 está dentro do intervalo de confiança. Mas existe uma função para calcular o valor de p para …

10 r  correlation 

Em esta questão eles perguntam como comparar Pearson r por dois grupos independentes (como homens contra mulheres). Resposta e comentários sugeriram duas maneiras: Use a fórmula conhecida de Fisher usando "tranformação z" de r; Use a comparação de inclinações (coeficientes de regressão). O último poderia ser facilmente realizado apenas através …

10 regression  correlation  hypothesis-testing 

Estou tentando entender como exatamente os fatores funcionam em R. Digamos que eu queira executar uma regressão usando alguns dados de amostra em R: > data(CO2) > colnames(CO2) [1] "Plant" "Type" "Treatment" "conc" "uptake" > levels(CO2$Type) [1] "Quebec" "Mississippi" > levels(CO2$Treatment) [1] "nonchilled" "chilled" > lm(uptake ~ Type + Treatment, …

10 r  regression  interaction 

Alguém pode explicar em detalhes: O que significa rejeitar inferências? Como ele pode ser usado para aumentar a precisão do meu modelo? Eu tenho a idéia de rejeitar inferências no aplicativo de cartão de crédito, mas lutando com o pensamento de usá-lo para aumentar a precisão do meu modelo.

10 logistic 

Eu quero aprender mineração de dados. Existem palestras em vídeo gratuitas por aí que explicam o processo de mineração de dados em profundidade?

10 references  data-mining 

Ao executar a validação cruzada de 5 vezes (por exemplo), é típico calcular uma curva ROC separada para cada uma das 5 dobras e geralmente vezes uma curva ROC média com std. dev. mostrado como espessura da curva. No entanto, para validação cruzada LOO, onde há apenas um único ponto …

10 cross-validation  roc 

Quando fiz cursos de estatística teórica na graduação há 10 anos, usamos Estatísticas Matemáticas Modernas de Dudewicz e Mishra. Eu me pego me referindo ao livro agora e sou lembrado de que alguns exemplos de código estão em montagem para um IBM 370. Embora singular, não posso deixar de sentir …

10 references 

Eu tenho uma pergunta sobre se deve ou não usar um deslocamento. Suponha um modelo muito fácil, onde você deseja descrever o número (geral) de gols no hóquei. Então você tem gols, número de jogos jogados e uma variável dummy "atacante" que é igual a 1 se o jogador for …

10 r  regression  poisson-distribution  generalized-linear-model  count-data 

Isso é muito difícil de descrever, mas tentarei tornar meu problema compreensível. Então, primeiro você precisa saber que eu fiz uma regressão linear muito simples até agora. Antes de estimar o coeficiente, observei a distribuição do meu . É pesado à esquerda inclinado. Depois que estimei o modelo, tive a …

10 regression  residuals  skewness 

Suponha que eu tenha um modelo de regressão quadrática com os erros satisfaçam as suposições usuais (independente, normal, independente dos valores ). Seja as estimativas de mínimos quadrados.Y=β0+β1X+β2X2+ϵY=β0+β1X+β2X2+ϵ Y = \beta_0 + \beta_1 X + \beta_2 X^2 + \epsilon ϵϵ\epsilonXXXb0,b1,b2b0,b1,b2b_0, b_1, b_2 Eu tenho dois novos valores e e estou …

10 regression  confidence-interval 

No caso de estimadores robustos, o que significa eficiência gaussiana ? Por exemplo, tem 82% de eficiência gaussiana e 50% de ponto de ruptura.QnQnQ_{_n} A referência é: Rousseeuw PJ e Croux, C. (1993). "Alternativas ao desvio absoluto médio." J. American Statistical Assoc., 88, 1273-1283

10 normal-distribution  scales  robust 

fundo Eu tenho dados de um estudo de campo em que existem quatro níveis de tratamento e seis repetições em cada um dos dois blocos. (4x6x2 = 48 observações) Os blocos estão a cerca de 1,6 km de distância e, dentro dos blocos, há uma grade de parcelas de 42, …

10 r  spatial  linear-model  covariance