O formato de final de linha do robots.txt importa?

Pergunta simples: devo usar as terminações de linha Unix no meu robots.txt ou isso não importa?

Não importa. De acordo com as especificações:

O arquivo consiste em um ou mais registros separados por uma ou mais linhas em branco (terminadas por CR, CR / NL ou NL).

• CR = Retorno de carro (ie \ r)
• CR / NL = Retorno de carro / Nova linha (ou seja, \ r \ n)
• NL = Nova Linha (ie \ n)

Isso significa que você pode usar \r. \n, ou \r\ne funcionará.