Estatísticas e Big Data

Perguntas e respostas para pessoas interessadas em estatística, aprendizado de máquina, análise de dados, mineração de dados e visualização de dados


2
Na regressão linear, por que devemos incluir termos quadráticos quando estamos interessados ​​apenas em termos de interação?
Suponha que eu esteja interessado em um modelo de regressão linear, para , porque gostaria de ver se uma interação entre as duas covariáveis ​​afeta Y.Yi=β0+β1x1+β2x2+β3x1x2Yi=β0+β1x1+β2x2+β3x1x2Y_i = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 Nas anotações do curso de um professor (com quem não tenho contato), ele declara: Ao incluir …


2
Uma '' variável significativa '' que não melhora as previsões fora da amostra - como interpretar?
Eu tenho uma pergunta que acho que será bastante básica para muitos usuários. Estou usando modelos de regressão linear para (i) investigar a relação de várias variáveis ​​explicativas e minha variável de resposta e (ii) prever minha variável de resposta usando as variáveis ​​explicativas. Uma variável explicativa X específica parece …


2
Estimador positivo e imparcial para o quadrado da média
Suponha que tenhamos acesso a amostras de iid a partir de uma distribuição com média e variância verdadeira (desconhecida) e queremos estimar .μ 2μ , σ2μ,σ2\mu, \sigma^2μ2μ2\mu^2 Como podemos construir um estimador imparcial e sempre positivo dessa quantidade? Tomando o quadrado da amostra, a média é enviesada e superestima a …

2
Por que usamos resíduos para testar as suposições sobre erros na regressão?
Suponha que tenhamos um modelo .Yi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiYi=β0+β1Xi1+β2Xi2+⋯+βkXik+ϵiY_i = \beta_0 + \beta_1X_{i1} + \beta_2X_{i2} + \dots + \beta_kX_{ik} + \epsilon_i A regressão tem várias suposições, como que os erros devem ser normalmente distribuídos com zero médio e variação constante. Fui ensinado a verificar essas suposições usando um gráfico QQ normal para testar …

4
Como provar estatisticamente se uma coluna possui dados categóricos ou não está usando Python
Eu tenho um quadro de dados em python, onde eu preciso encontrar todas as variáveis ​​categóricas. A verificação do tipo da coluna nem sempre funciona porque o inttipo também pode ser categórico. Portanto, busco ajuda para encontrar o método de teste de hipótese correto para identificar se uma coluna é …

1
Qual é a diferença entre função de decisão, previsão deproba e função de previsão para o problema de regressão logística?
Venho examinando a documentação do sklearn, mas não consigo entender o objetivo dessas funções no contexto da regressão logística. Pois decision_functiondiz que é a distância entre o hiperplano e a instância de teste. como essas informações específicas são úteis? e como isso se relaciona com predicte predict-probamétodos?




3
Distribuição de
Como exercício de rotina, estou tentando encontrar a distribuição de X2+Y2−−−−−−−√X2+Y2\sqrt{X^2+Y^2} que XXXeYYYsãovariáveis ​​aleatóriasU(0,1)U(0,1) U(0,1)independentes. A densidade da junta de (X,Y)(X,Y)(X,Y) é fX,Y(x,y)=10&lt;x,y&lt;1fX,Y(x,y)=10&lt;x,y&lt;1f_{X,Y}(x,y)=\mathbf 1_{0\cos^{-1}\left(\frac{1}{z}\right), comocosθcos⁡θ\cos\thetaestá diminuindo emθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]; ezsinθ&lt;1⟹θ&lt;sin−1(1z)zsin⁡θ&lt;1⟹θ&lt;sin−1⁡(1z)z\sin\theta<1\implies\theta<\sin^{-1}\left(\frac{1}{z}\right), comosinθsin⁡θ\sin\thetaestá aumentando emθ∈[0,π2]θ∈[0,π2]\theta\in\left[0,\frac{\pi}{2}\right]. Então, para 1&lt;z&lt;2–√1&lt;z&lt;21< z<\sqrt 2 , temoscos−1(1z)&lt;θ&lt;sin−1(1z)cos−1⁡(1z)&lt;θ&lt;sin−1⁡(1z)\cos^{-1}\left(\frac{1}{z}\right)<\theta<\sin^{-1}\left(\frac{1}{z}\right). O valor absoluto do jacobiano da transformação é |J|=z|J|=z|J|=z Assim, a densidade …


2
KL Perda com uma unidade Gaussiana
Estou implementando um VAE e notei duas implementações diferentes on-line da divergência simplificada univariada de KL gaussiana. A divergência original conforme aqui é Se assumirmos que nosso prior é uma unidade gaussiana, ou seja, e , isso simplifica para E aqui é onde está minha confusão. Embora eu tenha encontrado …

Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.