Estatísticas e Big Data

Se a regressão polinomial modela relações não lineares, como pode ser considerado um caso especial de regressão linear múltipla? A Wikipedia observa que "Embora a regressão polinomial ajuste um modelo não linear aos dados, como um problema de estimativa estatística é linear, no sentido de que a função de regressão …

38 regression  multiple-regression  linear-model  nonlinear-regression  polynomial 

É óbvio muitas vezes por que alguém prefere um estimador imparcial. Mas, existem circunstâncias em que podemos realmente preferir um estimador tendencioso a um imparcial?

38 bias  unbiased-estimator  estimators 

τt hτth\tau^{th} βˆQ R= minb∑i = 1nρτ( yEu- X′Eubτ)β^QR=minb∑Eu=1nρτ(yEu-XEu′bτ) \widehat{\beta}_{QR} = \min_{b} \sum^{n}_{i=1} \rho_\tau (y_i - X'_i b_\tau) ρτ= uEu⋅ ( τ- 1 ( uEu&lt; 0 ) )ρτ=vocêEu⋅(τ-1(vocêEu&lt;0 0))\rho_\tau = u_i\cdot (\tau - 1(u_i<0))vocêEuvocêEuu_i . Em um artigo de Firpo et al. (2009) , os autores afirmam que a regressão …

38 quantile-regression 

Eu sei que com um modelo que não é identificável, pode-se dizer que os dados são gerados por várias atribuições diferentes aos parâmetros do modelo. Eu sei que às vezes é possível restringir parâmetros para que todos sejam identificáveis, como no exemplo em Cassella &amp; Berger 2nd ed, seção 11.2. …

38 identifiability 

Os classificadores Naive Bayes são uma escolha popular para problemas de classificação. Existem muitas razões para isso, incluindo: "Zeitgeist" - amplo conhecimento após o sucesso dos filtros de spam, cerca de dez anos atrás Fácil de escrever O modelo do classificador é rápido de construir O modelo pode ser modificado …

38 classification  naive-bayes 

Notei que em R, Poisson e regressões binomiais negativas (RN) sempre parecem se encaixar nos mesmos coeficientes para preditores categóricos, mas não contínuos. Por exemplo, aqui está uma regressão com um preditor categórico: data(warpbreaks) library(MASS) rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson") rs2 = glm.nb(breaks ~ tension, data=warpbreaks) #compare coefficients …

38 regression  negative-binomial  poisson-regression 

Estou fazendo uma regressão multivariada de Cox, tenho minhas variáveis ​​independentes significativas e valores beta. O modelo se ajusta muito bem aos meus dados. Agora, eu gostaria de usar meu modelo e prever a sobrevivência de uma nova observação. Não estou claro como fazer isso com um modelo de Cox. …

38 regression  survival  prediction  cox-model 

Quero procurar um arquivo .rda (conjunto de dados R). Eu sei sobre o View(datasetname)comando. O R.app padrão fornecido para o Mac não possui um navegador muito bom para dados (ele abre uma janela no X11). Eu gosto do navegador de dados do RStudio que é aberto com o Viewcomando No …

38 r 

Existem fórmulas bem conhecidas para as estatísticas de ordem de determinadas distribuições aleatórias? Particularmente as estatísticas de primeira e última ordem de uma variável aleatória normal, mas uma resposta mais geral também seria apreciada. Editar: para esclarecer, estou procurando por fórmulas aproximadas que possam ser avaliadas mais ou menos explicitamente, …

38 distributions  normal-distribution  approximation  order-statistics 

Eu tenho um conjunto de dados de séries temporais. Cada série cobre o mesmo período, embora as datas reais de cada série cronológica nem sempre sejam exatamente alinhadas. Ou seja, se as séries temporais fossem lidas em uma matriz 2D, seria algo como isto: date T1 T2 T3 .... TN …

38 r  time-series  clustering  cointegration 

Estou tentando executar uma regressão OLS: DV: Alteração de peso ao longo de um ano (peso inicial - peso final) IV: Se você se exercita ou não. No entanto, parece razoável que pessoas mais pesadas percam mais peso por unidade de exercício do que pessoas mais magras. Assim, eu queria …

38 regression  repeated-measures  least-squares  change-scores 

Nas estatísticas freqüentistas, há uma estreita conexão entre intervalos de confiança e testes. Usando inferência sobre na distribuição como exemplo, o intervalo de confiança contém todos os valores de que não são rejeitados pelo teste no nível de significância .N ( μ , σ 2 ) 1 - αμμ\muN(μ,σ2)N(μ,σ2)\rm N(\mu,\sigma^2)1−α1−α1-\alpha …

38 hypothesis-testing  bayesian  confidence-interval  frequentist  credible-interval 

Qual é a relação entre YYY e XXX no gráfico a seguir? Na minha opinião, existe um relacionamento linear negativo, mas, como temos muitos discrepantes, o relacionamento é muito fraco. Estou certo? Quero aprender como podemos explicar gráficos de dispersão.

38 self-study  correlation  scatterplot 

YYYXiXiX_ipipip_iY=∑XiY=∑XiY=\sum X_iPr(Xi=1)=piPr(Xi=1)=pi\Pr(X_i=1)=p_iPr(Xi=0)=1−piPr(Xi=0)=1−pi\Pr(X_i=0)=1-p_i . Estou interessado em responder rapidamente a perguntas como (ondePr(Y&lt;=k)Pr(Y&lt;=k)\Pr(Y<=k)kkk é fornecido). Atualmente, uso simulações aleatórias para responder a essas perguntas. Eu desenho aleatoriamente cada XiXiX_i acordo com o seu pipip_i , depois soma todos os valores de XiXiX_i para obter Y′Y′Y' . Repito esse processo alguns milhares …

38 r  distributions  binomial  random-variable  poisson-binomial 

Gostaria de poder gerar com eficiência matrizes de correlação semidefinido positivo (PSD). Meu método diminui drasticamente à medida que aumenta o tamanho das matrizes a serem geradas. Você poderia sugerir soluções eficientes? Se você conhece algum exemplo no Matlab, ficaria muito grato. Ao gerar uma matriz de correlação do PSD, …

38 random-generation  correlation-matrix