Dê uma olhada no tcpdump . Ele pode despejar todo o tráfego de rede (não apenas o tcp como o nome sugere), que você pode ler com um aplicativo como o Wireshark. No Wireshark, é muito fácil filtrar certos tipos de dados e até plotar gráficos da E / S da rede.
Outra ferramenta útil pode ser o netstat, que exibe uma lista de conexões de rede em andamento. Talvez haja conexões que não deveriam estar lá. O tcpdump é muito mais útil (capture alguns minutos e verifique se você já pode ver a fonte), mas o netstat pode fornecer uma visão geral rápida.
Ao ler isso a propósito, meus primeiros pensamentos são que você possui malware no servidor ou que está sendo usado para ataques de amplificação. Mas, para examinar isso, você precisará executar o tcpdump primeiro.
Edit: Observe que o tcpdump provavelmente precisa ser executado como root, talvez você precise usá-lo sudo tcpdump
.
Outra edição: como não consigo realmente encontrar uma boa página da web para vincular o que são ataques de amplificação em geral, aqui está uma versão curta:
Protocolos como o DNS são executados no UDP. O tráfego UDP é sem conexão e, portanto, você pode facilmente falsificar o endereço IP de outra pessoa. Como uma resposta DNS geralmente é maior que a consulta, isso pode ser usado para um ataque de negação de serviço. O invasor envia uma consulta solicitando todos os registros que o servidor DNS possui em um determinado nome e informa ao servidor DNS que a solicitação se originou do X. Esse X é o destino que o invasor deseja DoS. O servidor DNS responde gentilmente, enviando a resposta (grande, digamos, 4kB) ao X.
Isso é amplificação porque o invasor envia menos dados do que o X realmente recebe. O DNS não é o único protocolo com o qual isso é possível.