O problema que você vê é porque o Excel oferece suporte a dois calendários diferentes, um com época coincidindo com 31.12.1899 e outro com 1.1.1904. A diferença de dias (incluindo um dia bissexto) é 1462, que também é o valor que cria seu problema.
Você pode ler mais sobre as diferenças entre os sistemas de datas de 1900 e 1904 neste documento.
Se seus registros de tempo no arquivo csv denotam intervalos de tempo puros (número de horas e minutos) e nunca incluem nenhuma parte da data, você pode simplesmente subtrair a parte inteira do valor e basear seus cálculos apenas na parte desimal, f.ex .:
=(D15-INT(D15))*24*HourlyRate