O ASP.NET AppDomain é reiniciado sempre que você 'toca' no web.config. É possível desativar a FCN (File Change Notification) para uma pasta, mas geralmente não é a melhor aposta se você puder ajudá-lo. Se você desativá-lo, significa apenas que você precisa reciclar manualmente o pool de aplicativos para que as alterações entrem em vigor.
Antes do IIS7, apenas as alterações do ASP.NET causavam a reciclagem do AppDomain, mas com o IIS7 e muitas das configurações do web.config, esse é um problema mais comum. ou seja, alterar um documento padrão no Gerenciador do IIS 7 fará com que o AppDomain seja reciclado agora.
Idealmente, você só precisa manter sua taxa de alterações baixa ou, às vezes, aplicar a alteração no applicationHost.config (que não causa a reciclagem do AppDomain) em vez de web.config.