Não foi exatamente o que você pediu, mas é muito longo para comentar.
A referência explícita mais antiga que conheço a um algoritmo inviável é no Memorando de Évariste Galois, sobre as condições de resolução de equações por rádio , escrito em 1830:
Se você não tiver uma pergunta sobre o que escolher, selecione seu nome e quem deseja que você conecte-se ou não seja solúvel por rádio, os norteamericanos diriam e faire-o-que-indique-a-resposta-a-pergunta-sem-voto carregador n moi ni personne de la faire. Um número de cálculos não é impraticável.
[Agora, se você me der uma equação que você escolheu a seu critério e quiser saber se é ou não passível de solução por radicais, só preciso lhe indicar o método necessário para responder sua pergunta, sem querer me fazer ou mais alguém o realiza. Em uma palavra, os cálculos são impraticáveis .]
Embora seja verdade que o algoritmo de Galois não é executado no tempo polinomial, Galois claramente significava algo muito menos preciso. Essa também é a referência mais antiga que conheço que considera a mera existência de um algoritmo significativo por si só.
Como Niel de Beaudrap menciona nos comentários, Gauss já discutiu a (in) eficiência de algoritmos para testes de primalidade em suas 1801 Disquisitiones Arithmeticae , quase 30 anos antes de Galois. Para completar, eis a passagem relevante do artigo 329:
Nihilominus fateri oportet, omnes methodos hucusque prolata and casus vlade special restringestris that, vel tam operous et prolixas , ut pro numeris talibus, qui tabularum varis meritis constructarum limit non excedunt, ie pro quibus methodi artificial supervacuae sunt, calculis etiam exercitati paciente fatigent, ad maior autem plerumque vix applicari possint. ... Ceterum in problemtis natura fundatum est, ut methodi quaecunquecontinuo prolixiores evadentes, maiores números suntários, e candidatos; attamen pro methodis sequentibus dificulta todos os tipos de números, números e seções, octos e outros tipos de figuras pluribus contínuas antes ou depois de felinos secundários sempre sucessivos em busca de um número, celeritate único, quam pro tantis numeris exspectare aequum est, quy secundum omnes métodos indiferentable calculators, laborator intolerabilem, requirerent.
[No entanto, devemos confessar que todos os métodos propostos até agora são restritos a casos muito especiais ou são tão trabalhosos e prolixos que, mesmo para números que não excedem os limites de tabelas construídas por homens estimados, ou seja , para números que não requerem métodos engenhosos, eles tentam a paciência até da calculadora mais praticada. E esses métodos dificilmente podem ser usados para números maiores. ... É da natureza do problema que qualquerO método se tornará mais prolixo à medida que os números aos quais ele for aplicado aumentarem. No entanto, nos métodos a seguir, as dificuldades aumentam bastante lentamente, e números com sete, oito ou mais dígitos foram tratados com sucesso e velocidade além das expectativas, especialmente pelo segundo método. As técnicas conhecidas anteriormente exigiriam trabalho intolerável, mesmo para a calculadora mais incansável .]