Eu tive o mesmo erro, apenas com um pacote Nuget que instalei (um que não é apenas cabeçalho) e tentei desinstalar.
O que estava errado para mim era que eu ainda estava incluindo um cabeçalho para o pacote que acabei de desinstalar em um dos meus arquivos .cpp (muito bobo, sim).
Até removi o link de diretórios de biblioteca adicional para ele Project -> Properties -> Linker -> General
, mas é claro que não adiantou, pois ainda estava tentando fazer referência ao cabeçalho inexistente.
Definitivamente, uma mensagem de erro confusa neste caso, já que o nome do cabeçalho era, <boost/filesystem.hpp>
mas o erro me deu "cannot open file 'llibboost_filesystem-vc140-mt-gd-1_59.lib'"
e nenhum número de linha ou nada.