Respostas:
RAM :
Acho que não há muito o que fazer, pois o vinho leva o que precisa. Como é de 32 bits, o limite superior é de 4Gb. Depois, há um limite de 2Gb (às vezes 3Gb) para RAM por aplicativo.
RAM de vídeo (VRAM) :
você pode permitir mais VRAM editando o registro do vinho:
wine regedit
Mais informações sobre o registro: chaves de registro úteis em wiki.winehq.org.
Esta página detalhada de gerenciamento de memória das notas do desenvolvedor de vinho pode fornecer mais pistas, mas é bastante técnica.