Divulgação: Eu trabalho para a Linode.
360 MB é uma quantidade razoável de memória, mas não é necessário telefonar para casa quando se trata de pilhas LAMP. Você precisa estar totalmente ciente das maneiras de otimizar sua pilha nessa quantidade de espaço; um sistema operacional de 64 bits impedirá diretamente esses esforços usando mais sobrecarga de memória para algumas coisas. Conhecendo cada uma das distribuições que você listou como as costas da minha mão (eu criei algumas), é melhor você ir com o Ubuntu.
Eu corro o Debian no jedsmith.org e o Ubuntu no meu desenvolvimento Linodes, e eles são provavelmente os mais eficientes; O Ubuntu, sendo o atual precursor de distribuições, obterá tudo o que você deseja - segurança, desempenho e uma grande comunidade para responder perguntas.
Ótimas opiniões de cletus:
Estou meio tentado a sugerir o Arch Linux apenas para uma distro de barebones, onde você só instala o que precisa, pois pacotes desnecessários podem consumir sua memória muito rapidamente.
Ouvi o mesmo sobre Arch também, mas não tentei. Outro funcionário da Linode, Sam, jura por Arch e tem muitas coisas boas a dizer sobre isso.
Além disso, re: pilha LAMP, considere usar o nginx em vez do Apache para obter melhor desempenho em uma fatia VPS de baixo custo.
O jedsmith.org está nginx na frente do FastCGI PHP e grita como o inferno.