Para restringir o consumo de memória do serviço MS SQL:
Definir "memória máxima do servidor" no SQL Server Management Studio
Agora vamos definir a opção "max server memory" para limitar o uso de memória pelo SQL Server. Podemos fazer isso clicando com o botão direito do mouse em nossa instância e escolhendo "Propriedades".
No Pesquisador de Objetos, clique com o botão direito do mouse em um servidor e selecione Propriedades.
Clique no nó Memória, como mostrado abaixo:
4. Em Opções de memória do servidor, digite a quantidade que deseja para Memória máxima do servidor. Abaixo, como você pode ver, estamos configurando a memória máxima do servidor para 4096 MB (ou seja, 4 GB).
Para restringir o consumo de memória do serviço MS SQL:
Também podemos definir "memória máxima do servidor" usando um script T-SQL:
O exemplo a seguir define a opção de memória máxima do servidor para 4 GB:
sp_configure 'show advanced options', 1;
GO
RECONFIGURE;
GO
sp_configure 'max server memory', 4096;
GO
RECONFIGURE;
GO
Ref: https://technet.microsoft.com/en-us/library/ms191144(v=sql.105).aspx