A questão era sobre o desempenho, no entanto, o título diz apenas "vs", então eu sinto que tenho que adicionar mais alguns pontos, embora alguns deles sejam opinativos.
Portanto, com base nisso, decidi manter a string.Format
maior parte do meu código. No entanto, preparei um método de extensão para ter uma forma de codificação mais fluente da qual gosto muito mais. A implementação da extensão é de uma linha e parece simplesmente assim em uso.
var myErrorMessage = "Value must be less than {0:0.00} for field {1}".FormatWith(maximum, fieldName);
A interpolação é um ótimo recurso, não me interpretem mal. Mas, IMO, ele brilha melhor nas linguagens que não string.Format
possuem o recurso semelhante, por exemplo, JavaScript.