Estatísticas e Big Data

Perguntas e respostas para pessoas interessadas em estatística, aprendizado de máquina, análise de dados, mineração de dados e visualização de dados

3
Na suavização Kneser-Ney, como são tratadas as palavras invisíveis?
Pelo que vi, a fórmula de suavização Kneser-Ney (de segunda ordem) é, de uma maneira ou de outra, dada como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align} com o fator de normalização fornecido comoλ(wn−1)λ(wn−1)\lambda(w_{n-1}) λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙)λ(wn−1)=D∑w′C(wn−1,w′)×N1+(wn−1∙) \begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} …
11
Exibindo três informações em um gráfico
Nota: 50 pontos de dados brutos estão anexados agora. Quero mostrar quanto estudo eu fiz e quantas páginas eu completei ao longo da semana, divididas por dia, e o fiz como mostrado abaixo: Já tive pessoas me dizendo que não conseguem entender os gráficos, mas não tenho idéia de como …
2
Simulação de desenhos de uma distribuição uniforme usando desenhos de uma distribuição normal
Recentemente, comprei um recurso de entrevista em ciência de dados no qual uma das perguntas de probabilidade era a seguinte: Dados os desenhos de uma distribuição normal com parâmetros conhecidos, como você pode simular os desenhos de uma distribuição uniforme? Meu processo de pensamento original era que, para uma variável …
4
Efeito fixo vs efeito aleatório quando todas as possibilidades estão incluídas em um modelo de efeitos mistos
Em um modelo de efeitos mistos, a recomendação é usar um efeito fixo para estimar um parâmetro se todos os níveis possíveis forem incluídos (por exemplo, homens e mulheres). Recomenda-se ainda o uso de um efeito aleatório para contabilizar uma variável se os níveis incluídos forem apenas uma amostra aleatória …
2
Derivação da transformação de normalização para GLMs
\newcommand{\E}{\mathbb{E}} Como está a transformação de normalização A(⋅)=∫duV1/3(μ)A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)} normalização para a família exponencial derivado? Mais especificamente : tentei seguir o esboço de expansão de Taylor na página 3, slide 1 aqui, mas tenho várias perguntas. Com XXX de uma família exponencial, transformação h(X)h(X)h(X) e κiκi\kappa _i indicando o …
4
Quão estranho é um conjunto de acidentes de avião?
Pergunta original (25/7/14): Esta citação da mídia faz sentido ou existe uma maneira estatística melhor de ver a enxurrada de acidentes de avião recentes? No entanto, Barnett também chama a atenção para a teoria da distribuição de Poisson, que implica que intervalos curtos entre colisões são realmente mais prováveis ​​do …
2
Valores P iguais a 0 no teste de permutação
Eu tenho dois conjuntos de dados e gostaria de saber se eles são significativamente diferentes ou não (isso vem de " Dois grupos são significativamente diferentes? Teste para usar "). Decidi usar um teste de permutação, fazendo o seguinte em R: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # …
Ao utilizar nosso site, você reconhece que leu e compreendeu nossa Política de Cookies e nossa Política de Privacidade.
Licensed under cc by-sa 3.0 with attribution required.