A melhor maneira de saber se o servidor foi "enraizado" é estar executando um sistema de detecção de intrusão (HIDS) baseado em host. Infelizmente, se você não estiver executando um HIDS agora, será tarde demais para instalar um. O momento apropriado para instalar um HIDS é quando o servidor é instalado pela primeira vez e antes de ser colocado em uma rede.
Resumidamente, a maioria dos HIDS trabalha computando hashes criptográficos de todos os binários do sistema e armazenando esses hashes (junto com várias outras estatísticas de arquivos) em um banco de dados, chamado banco de dados de linha de base. Em seguida, periodicamente, o HIDS resgata seu sistema, comparando todos os arquivos em seu banco de dados de linha de base com os arquivos reais do sistema.
Sim, é claro, é possível que um rootkit modifique seu banco de dados de linha de base, e é por isso que você precisa tirar uma cópia desse banco de dados e armazená-lo separadamente do servidor antes de colocá-lo online. Então, se você suspeitar que está "enraizado" (e suspeitar que seu banco de dados de linha de base também foi violado), você pode inicializar o sistema a partir da mídia de instalação, restaurar o banco de dados em bom estado a partir do backup e executar uma varredura no bem conhecido. É muito mais provável, no entanto, que um rootkit não preveja a derrota de seu HIDS específico e, portanto, você receberá uma notificação do HIDS de que os arquivos do sistema foram alterados, indicando uma provável invasão do sistema.
Como você não estava executando um HIDS, não há uma maneira rápida de determinar com certeza se você está enraizado ou quais arquivos do sistema foram modificados. Você pode gastar muito tempo comparando os arquivos do sistema com arquivos em boas condições extraídos da mídia de instalação em boas condições, mas esse tempo provavelmente é mais bem gasto na reinstalação do sistema a partir dessa mídia. Se você deseja investigar como ficou enraizado após o fato, o melhor caminho é tirar uma imagem do seu sistema antes de limpá-lo e reinstalá-lo.