De acordo com o artigo do MSDN, existem algumas diferenças de definição entre o que é chamado parâmetro e o que é chamado argumento:
Parâmetro:
Um parâmetro representa um valor que o procedimento espera que você transmita quando você o chama. A declaração do procedimento define seus parâmetros.
Argumento:
Um argumento representa o valor que você passa para um parâmetro de procedimento quando você chama o procedimento. O código de chamada fornece os argumentos quando chama o procedimento.
Também há uma ótima citação de como entender isso no exemplo da vida real :
Para comunicar essas informações ao procedimento, o procedimento define um parâmetro e o código de chamada passa um argumento para esse parâmetro. Você pode pensar no parâmetro como um local de estacionamento e o argumento como um automóvel. Assim como automóveis diferentes podem estacionar no estacionamento em momentos diferentes, o código de chamada pode passar um argumento diferente para o mesmo parâmetro sempre que chamar o procedimento.