Estatísticas e Big Data

Quais são os métodos de ponta na desduplicação de registro? Às vezes, a desduplicação também é chamada: ligação de registro, resolução de entidade, resolução de identidade, mesclagem / eliminação. Eu sei, por exemplo, sobre CBLOCK [1]. Eu apreciaria se as respostas também incluíssem referências ao software existente que implementa os …

13 clustering  data-cleaning  record-linkage 

Por que a distribuição geométrica e a hipergeométrica são chamadas "geométricas" e "hipergoemétricas", respectivamente? É porque seus pmfs assumem alguma forma especial? Obrigado!

13 distributions  terminology  history 

Não conheço nenhuma distribuição multimodal. Por que todas as distribuições conhecidas são unimodais? Existe alguma distribuição "famosa" que tenha mais de um modo? Obviamente, as misturas de distribuições geralmente são multimodais, mas eu gostaria de saber se existem distribuições "sem mistura" que tenham mais de um modo.

13 distributions  mode 

Entendo o conceito de escalar a matriz de dados para usar em um modelo de regressão linear. Por exemplo, em R você pode usar: scaled.data <- scale(data, scale=TRUE) Minha única pergunta é, para novas observações para as quais quero prever os valores de saída, como elas são dimensionadas corretamente? Seria …

13 r  regression  prediction  scales 

O erro padrão da intercepção termo ( β 0 ) em Y = β 1 x + β 0 + ε é dado por S E ( β 0 ) 2 = σ 2 [ 1β^0β^0\hat{\beta}_0y=β1x+β0+εy=β1x+β0+εy=\beta_1x+\beta_0+\varepsilonSE(β^0)2=σ2[1n+x¯2∑ni=1(xi−x¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right] ondex¯x¯\bar{x}é a média doxixix_i's. Pelo que eu entendo, o SE quantifica o …

13 regression  interpretation  standard-error 

O DBSCAN é o algoritmo de cluster mais citado de acordo com a literatura e pode encontrar clusters de formas arbitrários com base na densidade. Ele tem dois parâmetros eps (como raio da vizinhança) e minPts (como vizinhos mínimos para considerar um ponto como ponto central), que eu acredito que …

13 clustering  dbscan 

Suponha que eu tenha uma variável cuja distribuição seja inclinada positivamente em um grau muito alto, de modo que tomar o log não seja suficiente para colocá-lo dentro do intervalo de assimetria para uma distribuição normal. Quais são as minhas opções neste momento? O que posso fazer para transformar a …

13 data-transformation  skewness 

Para o modelo linear , podemos ter uma boa interpretação geométrica do modelo estimado via OLS: . é a projeção de y no espaço medido por xe residual é perpendicular a esse espaço medido por x.y= x β+ey=xβ+ey=x\beta+ey^= x β^+ e^y^=xβ^+e^\hat{y}=x\hat{\beta}+\hat{e}y^y^\hat{y}e^e^\hat{e} Agora, minha pergunta é: existe alguma interpretação geométrica do …

13 regression  model  geometry 

Eu li sobre o teste t de Student, mas parece funcionar quando podemos assumir que as distribuições originais são normalmente distribuídas. No meu caso, eles definitivamente não são. Além disso, se eu tiver 13 distribuições, preciso fazer 13^2testes?

13 r  hypothesis-testing  distributions 

Estou trabalhando no R através de um excelente tutorial de PCA de Lindsay I Smith e estou ficando paralisado na última etapa. O script R abaixo nos leva ao estágio (na p.19) em que os dados originais estão sendo reconstruídos a partir do (principal neste caso) Componente Principal, que deve …

13 r  pca 

Ao estudar a distância Kullback-Leibler, aprendemos muito rapidamente que não respeita nem a desigualdade do triângulo nem a simetria, propriedades necessárias de uma métrica. Minha pergunta é se existe alguma métrica das funções de densidade de probabilidade que atendam a todas as restrições de uma métrica .

13 distributions  distance  metric 

Quando é preferível usar a estimativa de máxima verossimilhança em vez dos mínimos quadrados comuns? Quais são os pontos fortes e as limitações de cada um? Estou tentando reunir conhecimentos práticos sobre onde usar cada um em situações comuns.

13 regression  maximum-likelihood  least-squares 

Recentemente, aprendi sobre o uso do truque Kernel, que mapeia dados em espaços dimensionais mais altos, na tentativa de linearizar os dados nessas dimensões. Existem casos em que devo evitar o uso dessa técnica? É apenas uma questão de encontrar a função correta do kernel? Para dados lineares, é claro …

13 machine-learning  svm  kernel-trick  heuristic 

Existe um conjugado antes da distribuição de Laplace ? Caso contrário, existe uma expressão de forma fechada conhecida que se aproxima do posterior para os parâmetros da distribuição de Laplace? Eu pesquisei bastante por aí, sem sucesso, então meu palpite atual é "não" nas perguntas acima ...

13 bayesian  conjugate-prior  laplace-distribution 

Eu escrevi algum código que pode fazer a filtragem Kalman (usando vários filtros do tipo Kalman [Information Filter et al.]) Para a Análise Linear Gaussiana de Espaço de Estado para um vetor de estado n-dimensional. Os filtros funcionam muito bem e estou obtendo uma saída agradável. No entanto, a estimativa …

13 maximum-likelihood  algorithms  kalman-filter  likelihood