Perguntas com a marcação «anomaly-detection»

Histórico do problema: Estou trabalhando em um projeto que envolve arquivos de log semelhantes aos encontrados no espaço de monitoramento de TI (para minha melhor compreensão do espaço de TI). Esses arquivos de log são dados de séries temporais, organizados em centenas / milhares de linhas de vários parâmetros. Cada …

61 machine-learning  python  data-mining  anomaly-detection  library 

É necessário padronizar seus dados antes do cluster? No exemplo do scikit learnDBSCAN, aqui eles fazem isso na linha: X = StandardScaler().fit_transform(X) Mas não entendo por que é necessário. Afinal, o clustering não assume nenhuma distribuição específica de dados - é um método de aprendizado não supervisionado, portanto seu objetivo …

23 python  clustering  clusters  anomaly-detection 

Existe um pacote abrangente de código aberto (de preferência em python ou R) que pode ser usado para detecção de anomalias em séries temporais? Existe um pacote SVM de uma classe no scikit-learn, mas não é para dados de séries temporais. Estou procurando pacotes mais sofisticados que, por exemplo, usem …

17 python  time-series  anomaly-detection 

Eu tenho um grande conjunto de dados multidimensional que é gerado todos os dias. Qual seria uma boa abordagem para detectar qualquer tipo de 'anomalia' em comparação com os dias anteriores? Esse é um problema adequado que pode ser resolvido com redes neurais? Todas as sugestões são apreciadas. informações adicionais: …

12 tensorflow  keras  anomaly-detection 

Eu tenho uma tabela SQL grande que é essencialmente um log. Os dados são bastante complexos e estou tentando encontrar uma maneira de identificar anomalias sem que eu entenda todos os dados. Encontrei muitas ferramentas para a detecção de anomalias, mas a maioria delas exige um tipo de "intermediário", como …

10 sql  anomaly-detection  outlier 

Li a explicação da convolução e a compreendi até certo ponto. Alguém pode me ajudar a entender como essa operação se relaciona à convolução nas redes neurais convolucionais? O filtro é uma função gque aplica peso?

10 machine-learning  neural-network  deep-learning  cnn  convolution  machine-learning  ensemble-modeling  machine-learning  classification  data-mining  clustering  machine-learning  feature-selection  convnet  pandas  graphs  ipython  machine-learning  apache-spark  multiclass-classification  naive-bayes-classifier  multilabel-classification  machine-learning  data-mining  dataset  data-cleaning  data  machine-learning  data-mining  statistics  correlation  machine-learning  data-mining  dataset  data-cleaning  data  beginner  career  python  r  visualization  machine-learning  data-mining  nlp  stanford-nlp  dataset  linear-regression  time-series  correlation  anomaly-detection  ensemble-modeling  data-mining  machine-learning  python  data-mining  recommender-system  machine-learning  cross-validation  model-selection  scoring  prediction  sequential-pattern-mining  categorical-data  python  tensorflow  image-recognition  statistics  machine-learning  data-mining  predictive-modeling  data-cleaning  preprocessing  classification  deep-learning  tensorflow  machine-learning  algorithms  data  keras  categorical-data  reference-request  loss-function  classification  logistic-regression  apache-spark  prediction  naive-bayes-classifier  beginner  nlp  word2vec  vector-space-models  scikit-learn  decision-trees  data  programming 

Eu tenho dois tensores a:[batch_size, dim] b:[batch_size, dim]. Quero fazer um produto interno para cada par do lote, gerando c:[batch_size, 1], onde c[i,0]=a[i,:].T*b[i,:]. Quão?

10 tensorflow  scikit-learn  svm  cross-validation  feature-selection  bayesian  machine-learning  decision-trees  parameter-estimation  neural-network  convnet  neural-network  regularization  visualization  machine-learning  similarity  python  pandas  indexing  r  data-cleaning  machine-learning  predictive-modeling  data-cleaning  recommender-system  python  sequential-pattern-mining  software-recommendation  r  visualization  gaussian  distribution  machine-learning  data-mining  bigdata  apache-hadoop  predictive-modeling  logistic-regression  sampling  machine-learning  regression  feature-selection  mongodb  neural-network  inception  machine-learning  classification  dataset  databases  logistic-regression  deep-learning  backpropagation  classification  data-mining  multilabel-classification  text-mining  data-cleaning  unsupervised-learning  anomaly-detection  python  r  python  pandas 

Eu estou tentando fazer alguma detecção de anomalia entre séries temporais # usando Python e sklearn (mas outras sugestões de pacotes são definitivamente bem-vindas!). Eu tenho um conjunto de 10 séries temporais; cada série temporal consiste em dados coletados do valor de torque de um pneu (total de 10 pneus) …

8 python  clustering  time-series  anomaly-detection 

Gostaria de saber a diferença em termos de aplicativos (por exemplo, qual é a detecção de fraude no cartão de crédito?) E em termos de técnicas usadas. Trabalhos de exemplo que definem a tarefa seriam bem-vindos.

8 algorithms  anomaly-detection  outlier  terminology  definitions 

Atualmente, estou estudando artigos sobre detecção de outlier usando RNN (Replicator Neural Networks) e me pergunto qual é a diferença específica para Autoencoders? As RNNs parecem ser pisadas por muitos como o santo graal da detecção de outlier / anomalia, no entanto, a idéia parece ser bastante antiga, já que …

8 neural-network  anomaly-detection  autoencoder  outlier 

Eu tenho um vetor e quero detectar outliers nele. A figura a seguir mostra a distribuição do vetor. Pontos vermelhos são outliers. Pontos azuis são pontos normais. Pontos amarelos também são normais. Eu preciso de um método de detecção de outlier (um método não paramétrico) que possa apenas detectar pontos …

7 unsupervised-learning  anomaly-detection  outlier  distribution