Como lidar com várias entradas heterogêneas com Logstash?

Digamos que você tenha 2 tipos muito diferentes de registros, como registros técnicos e comerciais, e deseja:

• logs técnicos brutos sejam roteados para um servidor graylog2 usando uma gelfsaída,
• Os logs de negócios json podem ser armazenados em um cluster elasticsearch usando a elasticsearch_httpsaída dedicada .

Eu sei que com, Syslog-NGpor exemplo, o arquivo de configuração permite definir várias entradas distintas que podem ser processadas separadamente antes de serem despachadas; o que Logstashparece incapaz de fazer. Mesmo que uma instância possa ser iniciada com dois arquivos de configuração específicos, todos os logs tomam o mesmo canal e estão sendo aplicados nos mesmos processamentos ...

Devo executar tantas instâncias quanto tiver diferentes tipos de logs?

Devo executar tantas instâncias quanto tiver diferentes tipos de logs?

Não! Você só pode executar uma instância para lidar com diferentes tipos de registros.

No arquivo de configuração logstash, você pode especificar cada entrada com um tipo diferente . Então, no filtro, você pode usar if para diferentes processamentos, e também na saída, você pode usar a saída "if" para destinos diferentes.

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
} 
filter {
    if [type] == "technical" {
            # processing .......
    }
    if [type] == "business" {
            # processing .......
    }
}
output {
    if [type] == "technical" {
            # output to gelf
    }
    if [type] == "business" {
            # output to elasticsearch
    }
}

Espero que isso possa ajudá-lo :)

Usei tags para entrada de vários arquivos:

input {
    file {
        type => "java"
        path => "/usr/aaa/logs/stdout.log"
        codec => multiline {
            ...
        },
        tags => ["aaa"]
    }

    file {
        type => "java"
        path => "/usr/bbb/logs/stdout.log"
        codec => multiline {
                ...
        }
        tags => ["bbb"]
    }
}
output {
    stdout {
        codec => rubydebug
    }
    if "aaa" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "aaa"
            document_type => "aaa-%{+YYYY.MM.dd}"
        }
    }

    if "bbb" in [tags] {
        elasticsearch {
            hosts => ["192.168.100.211:9200"]
            index => "bbb"
            document_type => "bbb-%{+YYYY.MM.dd}"
        }
    }
}

Acho que o logstash não pode ler mais de 2 arquivos na seção de entrada. tente o abaixo

input {
    file {
            type => "technical"
            path => "/home/technical/log"
    }
    file {
            type => "business"
            path => "/home/business/log"
    }
 file {
            type => "business1"
            path => "/home/business/log1"
    }
}