Como posso encontrar correlações entre falhas e ambientes do sistema?

No meu tempo livre, estou trabalhando em um pequeno sistema baseado na Web que coleta relatórios de falhas (mas não outros relatórios de erros sem falhas) que são enviados a partir de aplicativos Delphi para Windows.

Para solução de problemas, os usuários gostariam de ter um recurso de mineração de dados para encontrar relacionamentos entre as versões de hardware ou sistema operacional e o bug e / ou falha específicos.

Como um exemplo de como isso deve funcionar:

para cada falha, há um relatório no banco de dados, que possui um código de impressão digital / hash do rastreamento da pilha (pilha de chamadas) no momento da falha para identificar duplicatas
o algoritmo verifica se todas as duplicatas de um relatório de erro também têm outros atributos comuns, por exemplo, um service pack ausente do sistema operacional
o resultado da análise lista todas as propriedades que os relatórios de erros têm em comum

Vamos supor que esses relatórios automáticos de erros contenham todas as informações importantes, como os nomes de todos os processos em execução no momento, nomes de arquivos, informações de versão de DLLs carregadas etc.

Como posso encontrar correlações entre falhas repetidas e o ambiente? Existem algoritmos específicos ou métodos estatísticos que ajudariam?

data-mining

A descoberta de correlação é uma tarefa pesada. Você já viu essa ferramenta trabalhando? Isso pode ajudá-lo a encontrar a maneira correta de organizar seus dados.

Então você quer fazer o cálculo de correlação no Delphi também? Então dê uma olhada nesta lista de funções matemáticas do Delphi : ela cobre muito e também fornece explicações e links para as bibliotecas.

@DaveBall Obrigado pelo link interessante, no entanto, enquanto os relatórios de erros vêm do Delphi, o serviço da Web é realmente implementado em Java - talvez eu possa usar os algoritmos como ponto de partida ou em uma ferramenta de estatísticas 'offline'.

Você pode procurar "modelos discretos de risco". Parece um caso em que você deseja regredir eventos de falha (falhas) em características fixas (variáveis ambientais) e o tempo desde a última falha. Se você tiver observações suficientes (relatórios de falhas), poderá adicionar interações entre as variáveis ambientais ao modelo. Eles apontarão você na direção dos conflitos do sistema. Infelizmente, não sei como é fácil implementar esse modelo em Java.

— jmtroos

Os tipos de análises que você poderia empregar dependem do tamanho do problema, ou seja, quantos tipos distintos de falhas existem? Quantos atributos possíveis existem?

— Sameer

Você poderia experimentar as máquinas [sem falhas] do usuário com as mesmas informações que obtém em um relatório de falha? Porque então você pode usar a regressão logística para modelar esses atributos (e interações) com a probabilidade de obter uma falha.

— zzk
fonte