Estou usando o Chrome versão 83 e foi assim que o fiz. Antes de seguir as etapas, verifique se a guia do site, cujos detalhes de autenticação você deseja excluir está fechada.
Primeiro, vá para Settings
>> Privacy and security
.

Depois clique na Site settings
opção

Depois clique na View permissions and data stored across sites
opção

Procure o site cujas informações de autenticação você deseja excluir. Neste exemplo, eu estou usando Stack Overflow
.

Agora clique no site e, em seguida, clique no Clear data
botão

Agora reinicie o navegador e você será solicitado a fazer um novo login. Para reiniciar, você pode digitar chrome://restart
na barra de endereço.