Vejo algumas informações valiosas nas outras respostas e comentários, mas também algumas informações erradas, por isso tento dar um resumo e adicionar algumas coisas adicionais.
Terei alguma vantagem se eu abrir o algoritmo sob licença copyleft (GPL etc.)?
Ao publicar o código-fonte de uma implementação de seu algoritmo na GPL (presumo que seja isso que você quis dizer), você obtém a vantagem de demonstrar que seu algoritmo funciona conforme o esperado e todos podem inspecionar seu código-fonte para garantir que ele não contenha nada "incomum", como erros graves ou malware. Talvez você obtenha alguns colaboradores para melhorias adicionais. E como você é o detentor dos direitos autorais, você ainda pode publicar ou vender sua implementação para outras pessoas sob uma licença diferente.
Uma questão diferente é se isso traz alguma vantagem em ser a primeira publicação desse algoritmo. Sendo o primeiro, você pode tentar impedir que outra pessoa obtenha uma patente sobre esse algoritmo, pois sua implementação servirá como algum tipo de prova de que você é o inventor. Mas, como o @Snowman apontou corretamente em um comentário, devido à política de primeiro a arquivo (em oposição ao primeiro a inventar) de muitos regulamentos de patentes europeus, isso pode realmente não funcionar.
Pelo que sei sobre o licenciamento, isso deve impedir as pessoas de usar exatamente o mesmo código da fonte fechada, mas elas poderiam "reescrever" o algoritmo como fonte fechada?
Você impede que as pessoas publiquem seu código-fonte ou modificações no código-fonte fechado, e não o utilizem em uma organização comercial. Você impede que as pessoas publiquem como fonte aberta ou fechada sob uma licença diferente da GPL. No entanto, você não impede que as pessoas publiquem uma nova implementação de "sala limpa" do seu algoritmo sob uma licença arbitrária, que é uma implementação feita apenas a partir da sua descrição do algoritmo, sem realmente examinar o código-fonte.
Como sou da União Européia, preciso procurar patentes de software se quiser copyleft-lo?
Embora as leis de muitos países europeus proíbam formalmente patentes em algoritmos puros, muitas empresas contornaram essas leis no passado, declarando algoritmos específicos como "invenções implementadas por computador". AFAIK, os escritórios de patentes europeus não aceitaram tantas patentes algorítmicas quanto os escritórios de patentes dos EUA no passado; no entanto, eles aceitaram milhares de patentes ao longo dos anos que podem ser interpretadas como patentes em algoritmos. Se essas patentes realmente são mantidas em juízo, é uma questão diferente, mas alguém que deseja descobrir normalmente precisará colocá-lo em julgamento, com todos os riscos relacionados. Dois dos grupos mais populares de exemplos foram mencionados nos comentários, as patentes referentes à compactação de imagem GIF e as patentes relacionadas à compactação / descompressão de MP3, veja aqui para mais exemplos.
Portanto, se você deseja reduzir o risco de ser processado, antes de publicar um software que contém um algoritmo específico, você deve procurar se há alguém que tenha uma patente sobre ele, mesmo na UE.