Sim, você deve desativar o SSLv3. O Poodle funciona porque os navegadores tentarão usar protocolos mais antigos, como o SSLv3, se o TLS falhar. Um MITM pode abusar disso (a menos que o novo TLS SCSV seja suportado pelo cliente e pelo servidor, que apenas o Chrome suporta atm.). Para uma descrição realmente boa dos detalhes do ataque do Poodle, consulte: https://security.stackexchange.com/q/70719
O SSLv3 está quebrado de várias maneiras , e a melhor maneira de lidar com o problema é desabilitá-lo, pois foi substituído pelo TLS há 15 anos. Se você estiver usando SSLv3 em um site e não se importa com o IE6 no XP (o IE7 no XP é bom), você deve estar seguro para desativá-lo.
A viabilidade de desativar o SSLv3 está sendo discutida em uma questão relacionada: Poodle: A desativação do SSL V3 no servidor é realmente uma solução?
Enquanto você estiver nisso, convém executar um teste em seu site para verificar se há outros problemas: https://www.ssllabs.com/ssltest/