Estatísticas e Big Data

Perguntas e respostas para pessoas interessadas em estatística, aprendizado de máquina, análise de dados, mineração de dados e visualização de dados


1
Variáveis ​​de instrumento e restrição de exclusão do ponto de vista da mediação
Estou tendo problemas para entender a restrição de exclusão em variáveis ​​instrumentais. Entendo que o efeito do tratamento imparcial é , ondeYé o resultado,Sé o tratamento eZé o instrumento. Em outras palavras,B=ITTB=Cov(Y,Z)Cov(S,Z)B=Cov(Y,Z)Cov(S,Z)B = \frac{Cov(Y, Z)}{Cov(S, Z)}YYYSSSZZZ .B=ITTCompliance RateB=ITTCompliance RateB = \frac{ITT} {\text{Compliance Rate}} No entanto, se eu pensar sobre isso …





1
você pode me mostrar explicitamente a primeira iteração da pontuação de newton-raphson e fisher?
Estou tentando entender a diferença entre a Newton-Raphsontécnica e a Fisher scoringtécnica calculando a primeira iteração para cada método de uma Bernoulliamostra. (Eu sei que, neste caso, posso calcular explicitamente e imediatamente πm l eπmeue\pi_{mle} mas quero fazê-lo iterativamente apenas para entender e ver como cada método converge). Suponha que …


2
Onde posso obter informações sobre relacionamentos entre distribuições de probabilidade nas estatísticas?
Estou interessado em relacionamentos entre distribuições. Como 'Soma das variáveis ​​aleatórias exponenciais é uma variável aleatória gama. Certa distribuição condicional é outra distribuição etc. ' Eu procurei na wikipedia e no google, mas há apenas resumos deles, não especificamente provados ou explicados. Quero saber sobre os relacionamentos da distribuição e …

1
Mostrar que têm distribuição normal de inclinação
Seja e independentes. Mostre que têm uma distribuição normal de inclinação e encontre os parâmetros dessa distribuição.Y1∼SN(μ1,σ21,λ)Y1∼SN(μ1,σ12,λ)Y_1\sim SN(\mu_1,\sigma_1^2,\lambda)Y2∼N(μ2,σ22)Y2∼N(μ2,σ22)Y_2\sim N(\mu_2,\sigma_2^2)Y1+Y2Y1+Y2Y_1+Y_2 Como as variáveis ​​aleatórias são independentes, tentei usar a convolução. SejaZ=Y1+Y2Z=Y1+Y2Z=Y_1+Y_2 fZ(z)=∫∞−∞2ϕ(y1|μ1,σ1)Φ(λ(y1−μ1σ1))ϕ(z−y1|μ2,σ22)dy1fZ(z)=∫−∞∞2ϕ(y1|μ1,σ1)Φ(λ(y1−μ1σ1))ϕ(z−y1|μ2,σ22)dy1f_Z(z)=\int_{-\infty}^{\infty}2\phi(y_1|\mu_1,\sigma_1)\Phi\Big(\lambda(\frac{y_1-\mu_1}{\sigma_1})\Big)\phi(z-y_1|\mu_2,\sigma_2^2)\,\text{d}y_1 Aqui e são os pdf e cdf normais padrão, respectivamente.ϕ()ϕ()\phi()Φ()Φ()\Phi() fZ(z)=∫∞−∞212πσ1−−−−√12πσ2−−−−√exp(−12σ21(y1−μ)2−12σ22((z−y1)2−μ)2)Φ(λ(y1−μ1σ1))dy1fZ(z)=∫−∞∞212πσ112πσ2exp(−12σ12(y1−μ)2−12σ22((z−y1)2−μ)2)Φ(λ(y1−μ1σ1))dy1f_Z(z)=\int_{-\infty}^{\infty}2\frac{1}{\sqrt{2\pi\sigma_1}}\frac{1}{\sqrt{2\pi\sigma_2}}exp\Big(-\frac{1}{2\sigma_1^2}(y_1-\mu)^2-\frac{1}{2\sigma_2^2}((z-y_1)^2-\mu)^2\Big)\Phi\Big(\lambda(\frac{y_1-\mu_1}{\sigma_1})\Big)\,\text{d}y_1 Para notações simplificadas, deixek=212πσ1√12πσ2√k=212πσ112πσ2k=2\frac{1}{\sqrt{2\pi\sigma_1}}\frac{1}{\sqrt{2\pi\sigma_2}} fZ(z)=k∫∞−∞exp(−12σ21σ22(σ21(y1−μ1)2+σ22((z−y1)−μ2)2))Φ(λ(y1−μ1σ1))dy1=k∫∞−∞exp(−12σ21σ22(σ22(y21−2y1μ1+μ1)+σ21((z−y1)2−2(z−y1)μ2+μ22)))×Φ(λ(y1−μ1σ1))dy1=k∫∞−∞exp(−12σ21σ22(σ22(y21−2y1μ1+μ1)+σ21(z2−2zy1+y21−2zμ2+2y1μ2+μ22)))×Φ(λ(y1−μ1σ1))dy1fZ(z)=k∫−∞∞exp⁡(−12σ12σ22(σ12(y1−μ1)2+σ22((z−y1)−μ2)2))Φ(λ(y1−μ1σ1))dy1=k∫−∞∞exp⁡(−12σ12σ22(σ22(y12−2y1μ1+μ1)+σ12((z−y1)2−2(z−y1)μ2+μ22)))×Φ(λ(y1−μ1σ1))dy1=k∫−∞∞exp(−12σ12σ22(σ22(y12−2y1μ1+μ1)+σ12(z2−2zy1+y12−2zμ2+2y1μ2+μ22)))×Φ(λ(y1−μ1σ1))dy1\begin{align*}f_Z(z)&=k\int_{-\infty}^{\infty}\exp\Big(\frac{-1}{2\sigma_1^2\sigma_2^2}\Big(\sigma_1^2(y_1-\mu_1)^2+\sigma_2^2((z-y_1)-\mu_2)^2\Big)\Big)\Phi\Big(\lambda(\frac{y_1-\mu_1}{\sigma_1})\Big)\,\text{d}y_1\\ &=k\int_{-\infty}^{\infty}\exp\Big(\frac{-1}{2\sigma_1^2\sigma_2^2}\Big(\sigma_2^2(y_1^2-2y_1\mu_1+\mu_1)+\sigma_1^2((z-y_1)^2-2(z-y_1)\mu_2+\mu_2^2)\Big)\Big)\\&\quad\times\Phi\Big(\lambda(\frac{y_1-\mu_1}{\sigma_1})\Big)\,\text{d}y_1=k\int_{-\infty}^{\infty} \exp\\&\Big(\frac{-1}{2\sigma_1^2\sigma_2^2}\Big(\sigma_2^2(y_1^2-2y_1\mu_1+\mu_1)+\sigma_1^2(z^2-2zy_1+y_1^2-2z\mu_2+2y_1\mu_2+\mu_2^2)\Big)\Big)\\&\quad\times\Phi\Big(\lambda(\frac{y_1-\mu_1}{\sigma_1})\Big)\,\text{d}y_1 \end{align*} …

3
Você seleciona aleatoriamente dois números inteiros distintos entre 1 e 100. Qual é a probabilidade de o número maior ser exatamente o dobro do número menor?
Recentemente, fiz um teste do HackerRank para uma posição de Ciência de Dados e entendi errado essa pergunta. Eu vim para 1/200. Aqui está como: Existem 50 combinações que tornarão isso verdade. (ou seja, {1,2}, {2,4}, {3,6} ... {50,100}). A probabilidade de um número específico ser escolhido é 1/100. A …


2
Ao aproximar um posterior usando o MCMC, por que não salvamos as probabilidades posteriores, mas usamos as frequências do valor do parâmetro posteriormente?
Atualmente, estou estimando parâmetros de um modelo definido por várias equações diferenciais ordinárias (ODEs). Eu tento isso com uma abordagem bayesiana aproximando a distribuição posterior dos parâmetros dados alguns dados usando a cadeia de Markov Monte Carlo (MCMC). Um amostrador MCMC gera uma cadeia de valores de parâmetros em que …

1
Definição de regressão
Da Wikipedia: Na modelagem estatística, a análise de regressão é um processo estatístico para estimar as relações entre variáveis. Inclui muitas técnicas para modelar e analisar várias variáveis, quando o foco está no relacionamento entre uma variável dependente e uma ou mais variáveis ​​independentes (ou 'preditores'). Não é o mesmo …


Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.