Editar 16/12/2013: eles adicionaram uma opção para silenciar todos os sons, indefinidamente. Finalmente! Veja esta resposta
Até hoje (21/05/2013), você não pode (mesmo que solicitado ), mas encontrei uma maneira de impedir que o som fosse carregado e, portanto, reproduzido.
Em suma: eu redirecionar o link para o arquivo de áudio alerta (que você pode encontrar na parte inferior da resposta) para um não-existente.
É assim:
- Faça o download da extensão Redirecionador na Chrome Web Store
- Visita:
chrome-extension://lacckjdlmkdhcacjdodpjokfobckjclh/html/options.html#ruleMgr
- clique em [+]
- configurá-lo nesta captura de tela
- Salve
- pode ser necessário reiniciar o Chrome (ou as extensões do Hangouts)
Texto a inserir:
ssl.gstatic.com/*
incoming_message_eb39ce414e3ffba41a8e173581dc7248
Para ver se funciona, tente este URL, ele não deve carregar
https://ssl.gstatic.com/chat/sounds/incoming_message_eb39ce414e3ffba41a8e173581dc7248.mp3