Desativar plugins completamente significa que você perde muitas vantagens.
Existem distribuições de wordpress que vão além e arrancam posts e links, etc., mas sempre ficam atrás do núcleo do WordPress e tendem a não sobreviver por tanto tempo.
Aqui estão algumas coisas que poderiam ser feitas
Iniciação curta
Colocando isso no seu wp-config.php:
define( 'SHORTINIT', TRUE );
Ou defini-lo em algum lugar antes de carregar no wordpress, deve reduzir o processo de carregamento e devolvê-lo às funções básicas mínimas.
Instalações leves secundárias
Configure uma segunda instalação do wordpress, apenas com os plugins e temas que você deseja (se houver). Em seguida, configure o wp-config.php para usar os mesmos valores de diretório e banco de dados de conteúdo wp.
Backpress
O WordPress, o BBpress original e o glotpress, entre outros, são criados em torno da biblioteca BackPress. Você pode usar isso em vez do WordPress para fazer seu trabalho, embora várias APIs e recursos estejam ausentes ou precisem ser reimplementados / portados
Tabelas de opções
Eu também tenho em mente que o WordPress carrega toda a tabela de opções na memória para reduzir as consultas, se você estiver salvando algum valor grande nele, isso afetará o desempenho.
Sair cedo
Você também pode tentar conectar-se a funções anteriores no processo de carregamento do WordPress e sair do processo PHP antes que o WordPress seja concluído, mas não posso aconselhar sobre o quão seguro isso seria.
Carregando seletivamente plug-ins
Há também este artigo sobre o carregamento seletivo de plug-ins , mas requer hacks nos arquivos principais do wordpress