Respostas:
Entre no seu arquivo AndroidManifest.xml
Aprecie usar uma interface gráfica e não mexer com um editor de imagens! Espero que isto ajude!
Assistente de criação de ícone
Você pode encontrar um guia fácil aqui
A etapa é 2: - Copie o ícone na (s) pasta (s) correta (s) - Altere o AndroidManifest.xml
A resposta de Rob R. foi definitivamente o caminho a percorrer. Tentei copiar os arquivos ic_launcher.png de outro projeto e o Eclipse ainda não os leria. Passar pelo manifesto é muito mais rápido e fácil.
AndroidManifest.xml
Editor de manifesto do Android - clicando com o botão direito do mouse no arquivo no Package Explorer.