Responderei primeiro à última pergunta: Sim, você pode alterá-la enquanto o servidor estiver sendo executado sem problemas. Se você deseja alterar o valor via SQL, pode fazê-lo com a seguinte consulta
sp_configure 'show advanced options', 1;
GO
RECONFIGURE;
GO
sp_configure 'max server memory', 4096;
GO
RECONFIGURE;
GO
Consulte esta página para obter mais detalhes sobre a configuração de memória no servidor SQL.
Sua primeira pergunta, infelizmente, a resposta é: não posso lhe dizer, não estou lá.
Existem 1.000.000 de coisas que você precisa levar em consideração ao alocar memória. Qual o tamanho dos conjuntos de resultados das consultas, com que frequência eles são executados? Uma consulta que costumava levar 20 ms seria aceitável para agora levar 200 ms?
Os padrões do Sql pressupõem que é a única coisa em execução no servidor, portanto, apenas define a memória para MAX_VALUE e para de crescer quando toda a memória disponível está em uso (e em hardware dedicado bastante próximo do que você deseja que aconteça (consulte Aarons comenta uma possível ressalva)). Normalmente, qualquer servidor da Web ou outro software que interaja com o banco de dados estaria em um hardware diferente, comunicando-se pela rede.
Você realmente só precisa configurá-lo para um valor que julgue ser sensato e, se o servidor da web ainda estiver com a memória bloqueada, abaixe-o. Se o SQL não estiver fornecendo desempenho suficiente depois de fornecer ao servidor da Web a memória necessária, você precisará comprar mais memória RAM ou mover o SQL para hardware dedicado.