Você está certo em suspeitar. Web Gardens sem desvantagem é um mito maciço, eles podem causar problemas sem fim, mas muitas pessoas ainda nem sabem quando devem ser usadas.
De acordo com Chris Adams (da equipe do IIS), há apenas um único motivo pelo qual você deseja usar um Web Garden: Para fornecer aplicativos que não são vinculados à CPU, mas executam solicitações de execução longa, a capacidade de escalar e não usar todos threads disponíveis no processo de trabalho. Existem muitas razões pelas quais elas podem ser ruins, no entanto, é um equívoco comum que não haja desvantagem.
Eles aumentam as despesas gerais do sistema (não compartilham cache), não compartilham sessões (o usuário pode perder a sessão se mudar para outro processo), o InProc pode ficar confuso. Em resumo, na verdade, na maioria das vezes, são muitos problemas, e você não deve usá-lo sem uma boa razão.
Leia a explicação completa de Chris: http://blogs.iis.net/chrisad/archive/2006/07/14/1342059.aspx
Outras leituras:
http://weblogs.asp.net/owscott/why-you-shouldn-t-use-web-gardens-in-iis-week-24