A função no Excel para fazer um hiperlink é =Hyperlink("http://www.techonthenet.com","Tech on the Net")
onde "http://www.techonthenet.com"
está o endereço da Internet e "Tech on the Net"
é o título que aparece na célula do Excel.
Assim, quando você estiver escrevendo os URLs no arquivo do Excel, basta agrupar essa função em torno de cada URL. Se você não quiser criar um nome dinâmico, também pode colocar o URL como o nome.
Se você não estiver inserindo os valores programaticamente, este site menciona o uso da função de planilha HYPERLINK. Embora uma referência melhor mesmo é este que percorre como adicionar uma macro para excel e fornecer o código para a macro. Assim, depois de adicionar essa macro, você pode selecionar a coluna de URLs e executar a macro, e ela converte toda a coluna em hiperlinks