Existem vários truques que os editores podem usar para otimizar o tratamento de arquivos grandes.
Uma é trabalhar apenas com o que eles precisam. Isso significa não tentar analisar o arquivo inteiro em busca de coisas como contagem de linhas, medidas de largura, quebra de linha, destaque de sintaxe, validação XML, renderização HTML, Desfazer etc. Há o plug-in LargeFile disponível para o Vim que desativará vários recursos do Vim quando um arquivo "grande" (conforme definido pelo usuário) é aberto. A página Carregamento mais rápido de arquivos grandes no wiki do Vim menciona alguns dos recursos desativados: ignorar tipo de arquivo (para destaque / análise de sintaxe), desativar desfazer, alternar para o modo somente leitura. Há outras mudanças também, mas elas parecem ter como objetivo a conservação da memória além da velocidade.
Outro é o mapeamento de memória. Em vez de ler o arquivo inteiro na memória, diga ao sistema operacional subjacente para mapear uma visualização do arquivo diretamente no espaço de memória do processo. Não tenho certeza se o Vim em particular faz isso, mas outros editores podem e fazem.
Esses são provavelmente os 2 maiores, mas certamente há mais.