Estatísticas e Big Data

Quando comecei a ler sobre o filtro Kalman, pensei que fosse um caso especial do modelo ARIMA (ou seja, ARIMA (0,1,1)). Mas, na verdade, parece que a situação é mais complicada. Primeiro, o ARIMA pode ser usado para previsão e o filtro Kalman é para filtragem. Mas eles não estão …

10 time-series  bayesian  arima  kalman-filter 

Os recursos aleatórios de Fourier fornecem aproximações às funções do kernel. Eles são usados ​​para vários métodos de kernel, como SVMs e processos gaussianos. Hoje, tentei usar a implementação do TensorFlow e obtive valores negativos para metade dos meus recursos. Pelo que entendi, isso não deveria acontecer. Então, voltei ao …

10 machine-learning  kernel-smoothing  feature-construction  tensorflow  fourier-transform 

Eu me deparei com o termo inlier na medida LOF (Local Outlier Factor), estou familiarizado com o termo outliers (basicamente basicamente liers - instâncias que não se comportam como o resto das instâncias). O que significa "Inliers" no contexto da detecção de anomalias? e como isso está relacionado a (diferente …

10 residuals  outliers  anomaly-detection 

No recente artigo da WaveNet , os autores se referem ao seu modelo como tendo camadas empilhadas de convoluções dilatadas. Eles também produzem os gráficos a seguir, explicando a diferença entre convoluções 'regulares' e convoluções dilatadas. As convoluções regulares se parecem com Esta é uma convolução com um tamanho de …

10 neural-networks  deep-learning  conv-neural-network  tensorflow 

Tentando entender a relação entre entropia cruzada e perplexidade. Em geral, para um modelo M , Perplexidade (M) = 2 ^ entropia (M) . Essa relação vale para todos os n-gramas diferentes, como unigrama, bigram etc.?

10 natural-language  entropy  perplexity 

O erro padrão de uma proporção será o maior que pode ser para um dado N quando a proporção em questão for 0,5 e fica menor quanto mais a proporção for de 0,5. Eu posso ver por que isso acontece quando olho para a equação para o erro padrão de …

10 standard-error  proportion  intuition 

Imagine que temos um modelo de regressão linear com variável dependente . Encontramos seu . Agora, fazemos outra regressão, mas desta vez em , e também encontramos seu . Foi-me dito que não posso comparar os dois para ver qual modelo é mais adequado. Por que é que? A razão …

10 regression  data-transformation  r-squared 

Se eu usar um Jeffreys anterior para um parâmetro de probabilidade binomial , isso implica o uso de uma distribuição .θθ\thetaθ ~ b e t um ( 1 / 2 , 1 / 2 )θ∼betuma(1 1/2,1 1/2)\theta \sim beta(1/2,1/2) Se eu me transformar em um novo quadro de referência então …

10 bayesian  jeffreys-prior 

Existe uma alternativa multivariada ao teste de Kolmogorov-Smirnov de duas amostras ? O que quero dizer é um teste que pode ser usado para verificar sempre que duas distribuições multidimensionais subjacentes diferem.

10 hypothesis-testing  multivariate-analysis  kolmogorov-smirnov 

Eu tenho um conjunto de dados com colunas a b c(3 atributos). aé numérico e contínuo enquanto be csão categóricos, cada um com dois níveis. Eu estou usando o método Vizinhos K-Nearest to classificar ae bon c. Portanto, para poder medir as distâncias, eu transformo meu conjunto de dados removendo …

10 r  classification  k-nearest-neighbour 

Acabei de executar uma FA usando uma rotação oblíqua (promax) e um item produziu uma carga fatorial de 1,041 em um fator (e cargas fatoriais de -.131, -.119 e .065 nos outros fatores usando matriz de padrão ) . E não tenho certeza do que isso significa, pensei que poderia …

10 pca  factor-analysis  factor-rotation 

No artigo Faster RCNN, ao falar sobre ancoragem, o que eles significam usando "pirâmides de caixas de referência" e como isso é feito? Isso significa apenas que em cada um dos pontos de ancoragem W * H * k é gerada uma caixa delimitadora? Onde W = largura, H = …

10 deep-learning  computer-vision 

Como não tenho experiência no setor de mineração de dados ou big data, gostaria de ouvi-lo compartilhar alguma experiência. As pessoas realmente executam k-means, PAM, CLARA etc. em um conjunto de dados realmente grande? Ou eles apenas escolhem aleatoriamente uma amostra? Se eles coletassem apenas uma amostra do conjunto de …

10 clustering  data-mining  k-means  convergence  large-data 

Esta é mais uma pergunta conceitual, mas como eu uso R, vou me referir aos pacotes em R. Se o objetivo é ajustar um modelo linear para fins de previsão e, em seguida, fazer previsões onde os efeitos aleatórios podem não estar disponíveis, existe algum benefício em usar um modelo …

10 r  multiple-regression  mixed-model  lme4-nlme 

A dinâmica hamiltoniana sempre supera, em alguns casos, o desempenho aleatório do algoritmo Metropolis. Alguém poderia explicar o motivo com palavras simples, sem muita matemática?

10 mcmc