Estatísticas e Big Data

Como você sabe, existem dois tipos populares de validação cruzada, dobra K e subamostragem aleatória (conforme descrito na Wikipedia ). No entanto, eu sei que alguns pesquisadores estão fazendo e publicando artigos em que algo que é descrito como um CV dobrável em K é de fato uma subamostragem aleatória; …

9 machine-learning  cross-validation 

Forneceu um tamanho de amostra "N" que pretendo usar para prever dados. Quais são algumas das maneiras de subdividir os dados para que eu use algumas delas para estabelecer um modelo e os demais dados para validar o modelo? Sei que não há resposta em preto e branco para isso, …

9 machine-learning  modeling  sample  validation 

Conheço a microeconometria de Cameron e Trivedi usando Stata. Quais são outros bons textos para aprender Stata?

9 references  stata 

Como você explicaria a visualização de dados e por que é importante para um leigo?

9 data-visualization  intuition 

Quais bibliotecas de visualização (plotagens, gráficos, ...) você sugeriria usar em um aplicativo independente (Linux, .Net, Windows, o que for). Um desempenho razoável também seria bom.

9 data-visualization  software 

Isso não é lição de casa. Seja uma variável aleatória. Se e , segue-se que ?XXXE[X]=k∈RE[X]=k∈R\mathbb{E}[X] = k \in \mathbb{R}Var[X]=0Var[X]=0\text{Var}[X] = 0Pr(X=k)=1Pr(X=k)=1\Pr\left(X = k\right) = 1 Intuitivamente, isso parece óbvio, mas não tenho certeza de como provaria isso. Eu sei de fato que, pelas suposições, segue-se que . Então Isso …

9 probability 

Estou bastante certo de que entendo como a integração de Monte Carlo funciona, mas não estou entendendo a formulação de como é usada para estimar o Pi. Estou seguindo o procedimento descrito no quinto slide desta apresentação http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Eu entendo as etapas preliminares. Pi é igual a 4 vezes a …

9 monte-carlo  indicator-function 

Questão Uma coisinha que venho pensando há algum tempo: Vamos PθPθP_\theta ser estocasticamente um aumento (de um parâmetro) família exponencial na amostra espaço XX\mathcal{X} com Θ⊂RΘ⊂R\Theta\subset\mathbb{R} sendo o seu espaço de parâmetros natural, isto é ΘΘ\Theta sendo o conjunto de valores para os quais a CDF FθFθF_\theta define uma medida …

9 distributions  mathematical-statistics  exponential-family 

Eu estava lendo um artigo sobre ajuste de curva bayesiana ( Dimatteo et al., Ajuste de curva bayesiana com splines de nó livre, 2001 ) e me deparei com o símbolo . É usado algumas vezes ao longo do artigo, mas nunca definido explicitamente. Após algumas pesquisas no Google e …

9 notation  definition 

De acordo com a Lei da variância total, Var(X)=E(Var(X∣Y))+Var(E(X∣Y))Var⁡(X)=E⁡(Var⁡(X∣Y))+Var⁡(E⁡(X∣Y))\operatorname{Var}(X)=\operatorname{E}(\operatorname{Var}(X\mid Y)) + \operatorname{Var}(\operatorname{E}(X\mid Y)) Ao tentar provar isso, escrevo Var(X)=E(X−EX)2=E{E[(X−EX)2∣Y]}=E(Var(X∣Y))Var⁡(X)=E⁡(X−E⁡X)2=E⁡{E⁡[(X−E⁡X)2∣Y]}=E⁡(Var⁡(X∣Y)) \begin{equation} \begin{aligned} \operatorname{Var}(X) &= \operatorname{E}(X - \operatorname{E}X)^2 \\ &= \operatorname{E}\left\{\operatorname{E}\left[(X - \operatorname{E}X)^2\mid Y\right]\right\} \\ &= \operatorname{E}(\operatorname{Var}(X\mid Y)) \end{aligned} \end{equation} O que há de errado com isso?

9 variance  conditional-probability  expected-value  conditional-expectation  moments 

Estou lendo e esta é a definição que obtive do livro de DeGroot: Isso significa que os parâmetros são os mesmos? Por exemplo, suponha que X seja lognormalmente distribuído e Y seja normalmente distribuído onde Y = log (X). Isso está dizendo que X e Y têm a mesma média …

9 normal-distribution  lognormal 

Este post diz Um PDF é usado para especificar a probabilidade da variável aleatória cair dentro de um determinado intervalo de valores, em vez de assumir qualquer valor. É verdade? este é o PDF da distribuição normal padrão. φ(x)=12π−−√e−x2/2φ(x)=12πe−x2/2\varphi(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} plugar x = 0 na fórmula acima, posso …

9 distributions  terminology 

Não encontrei uma definição de função de perda no wiki no contexto de aprendizado de máquina. este é menos formal, porém, é claro o suficiente. Na sua essência, uma função de perda é incrivelmente simples: é um método de avaliar quão bem seu algoritmo modela seu conjunto de dados. Se …

9 machine-learning 

Existem muitas perguntas (como esta ) sobre alguma ambiguidade com a fórmula bayesiana em caso contínuo. p(θ|x)=p(x|θ)⋅p(θ)p(x)p(θ|x)=p(x|θ)⋅p(θ)p(x)p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)} Muitas vezes, a confusão surge do fato de que a definição da distribuição condicional f(variable|parameter)f(variable|parameter)f(variable | parameter) é explicada como fff sendo função da variablevariablevariable …

9 distributions  bayesian  conditional-probability  likelihood 

Estou trabalhando no modelo de regressão logística. A partir de agora, você terá acesso a todas as informações necessárias para que você tenha uma experiência de compra agradável e que atenda às suas necessidades. ? Um sênior meu sugeriu fazer a transformação logarítmica da variável insignificante e procurar correlação. Será …

9 r  regression  correlation