Estatísticas e Big Data

Perguntas e respostas para pessoas interessadas em estatística, aprendizado de máquina, análise de dados, mineração de dados e visualização de dados

3
MAP é uma solução para
Encontrei esses slides (slides 16 e 17) em um dos cursos on-line. O instrutor estava tentando explicar como a Estimativa Máxima Posterior (PAM) é realmente a solução , onde é o verdadeiro parâmetro.L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}]θ∗θ∗\theta^{*} Alguém pode explicar como isso se segue? Editar: Adicionado os slides, caso o …
2
Distribuição e variância da contagem de triângulos no gráfico aleatório
Considere um gráfico aleatório Erdos-Renyi . O conjunto de vértices é rotulado por . O conjunto de arestas é construído por um processo aleatório.G=(V(n),E(p))G=(V(n),E(p))G=(V(n),E(p))nnnVVVV={1,2,…,n}V={1,2,…,n}V = \{1,2,\ldots,n\}EEE Seja uma probabilidade , então cada par não ordenado de vértices ( ) ocorre como uma aresta em com probabilidade , independentemente dos outros …
1
Probabilidades negativas: explicações para leigos
Fiquei muito intrigado com a resposta aqui. Eu gostaria de ter uma explicação mais leiga do que probabilidades negativas poderiam significar e suas aplicações, possivelmente com exemplos. Por exemplo, o que significaria para um evento ter probabilidade de -10%, de acordo com essas medidas estendidas de probabilidade?
3
Ensaios "pragmáticos": o que são?
No twitter, um experimentista Stuart Nicholls criticou um estudo recentemente publicado dizendo: Além do artigo muito interessante de Dal-Re, eles sinalizam vários exemplos que questionam o uso do termo pragmático. Pode um estudo randomizado de fase 3, multissite, duplo-cego, controlado por placebo, braço paralelo, com incremento de dose e randomizado …
2
UMVUE de
Seja (X1,X2,…,Xn)(X1,X2,…,Xn)(X_1,X_2,\ldots,X_n) uma amostra aleatória da densidadefθ(x)=θxθ−110<x<1,θ>0fθ(x)=θxθ−110<x<1,θ>0f_{\theta}(x)=\theta x^{\theta-1}\mathbf1_{00 Estou tentando encontrar o UMVUE de .θ1+θθ1+θ\frac{\theta}{1+\theta} A densidade da junta de é(X1,…,Xn)(X1,…,Xn)(X_1,\ldots,X_n) fθ(x1,⋯,xn)=θn(∏i=1nxi)θ−110<x1,…,xn<1=exp[(θ−1)∑i=1nlnxi+nlnθ+ln(10<x1,…,xn<1)],θ>0fθ(x1,⋯,xn)=θn(∏i=1nxi)θ−110<x1,…,xn<1=exp⁡[(θ−1)∑i=1nln⁡xi+nln⁡θ+ln⁡(10<x1,…,xn<1)],θ>0\begin{align} f_{\theta}(x_1,\cdots,x_n)&=\theta^n\left(\prod_{i=1}^n x_i\right)^{\theta-1}\mathbf1_{00 \end{align} Como a população pdf pertence à família exponencial de um parâmetro, isso mostra que uma estatística completa suficiente para é T (X_1, \ ldots, X_n) …
2
Justificativas para um modelo de efeitos fixos versus efeitos aleatórios na metanálise
Eu li várias publicações tentando justificar o uso de um modelo de efeitos fixos com declarações ao longo das linhas de "o modelo de efeitos fixos foi escolhido porque a heterogeneidade era baixa". No entanto, estou preocupado que ainda possa ser uma abordagem inadequada à análise de dados. Existem razões …
2
Amostragem exata de misturas impróprias
Suponha que eu queira amostrar a partir de uma distribuição contínua . Se eu tiver uma expressão de na formapp(x)p(x)p(x)ppp p(x)=∑i=1∞aifi(x)p(x)=∑i=1∞aifi(x)p(x) = \sum_{i=1}^\infty a_i f_i(x) onde e f_i são distribuições que podem ser facilmente amostradas, então eu posso facilmente gerar amostras de p por:ai⩾0,∑iai=1ai⩾0,∑iai=1a_i \geqslant 0, \sum_i a_i= 1fifif_ippp Amostrando …
1
Quando não usar a validação cruzada?
Ao ler o site, muitas respostas sugerem que a validação cruzada deve ser feita em algoritmos de aprendizado de máquina. No entanto, ao ler o livro "Entendendo o aprendizado de máquina", vi um exercício que às vezes é melhor não usar a validação cruzada. Estou realmente confuso. Quando o algoritmo …
3
A suposição de linearidade na regressão linear é apenas uma definição de
Estou revisando a regressão linear. O livro de Greene declara: Agora, é claro que haverá outras suposições no modelo de regressão linear, como E(ϵ|X)=0E(ϵ|X)=0E(\epsilon|X)=0 . Essa suposição combinada com a suposição de linearidade (que na verdade define ϵϵ\epsilon ) coloca a estrutura no modelo. No entanto, a suposição de linearidade …
6
Exemplos simples do mundo real para o ensino de estatística bayesiana?
Eu gostaria de encontrar alguns "exemplos do mundo real" para o ensino de estatística bayesiana. A estatística bayesiana permite incorporar formalmente o conhecimento prévio em uma análise. Eu gostaria de dar aos alunos alguns exemplos simples do mundo real de pesquisadores que incorporam conhecimento prévio em suas análises, para que …
1
Relação entre LASSO e
Meu entendimento da regressão do LASSO é que os coeficientes de regressão são selecionados para resolver o problema de minimização: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t Na prática, isso é feito usando um multiplicador de Lagrange, tornando o problema para resolver minβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1\min_\beta \|y - …
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.