Esse método também parou de funcionar em algum momento, possivelmente com a interface do usuário 29 (Australis) ou 57 (Photon). Não conheço nenhuma alternativa no momento.
Você pode navegar about:confige definir o valor browser.tabs.tabClipWidthpara 1. Você precisará reiniciar o navegador.
Como outros sugeriram, o botão Fechar guia é removido se a guia se tornar muito pequena (estreita). Essa configuração determina a largura mínima da guia em pixels abaixo da qual o botão Fechar guia não é mostrado ( 140é o padrão). Configurá-lo para 1essencialmente significa sempre mostrar o botão Fechar guia, não importa quão estreita seja a guia. Segundo o artigo vinculado, 0não é um número válido (mas o botão tem 16 px de qualquer maneira).
Essa configuração tem efeito em todas as versões do Firefox a partir de 1.6a1 (confirmado no 13.0.1).
A partir do Firefox 23.0, esse método não parece mais funcionar. Eles podem corrigi-lo em uma atualização futura para a extensão, então deixarei aqui por enquanto. A opção de configuração descrita acima ainda está disponível.
Uma alternativa (e a que eu estou usando) é a extensão Tab Mix Plus . Essa extensão inclui muitos outros recursos possivelmente (des) desejados e obviamente não é tão limpa quanto a configuração acima, mas é o que eu tenho usado (por outras razões, o botão Fechar foi apenas um efeito colateral).
Nas opções do TMP, Display> Tab> Close tab button> on all.
Clique para ampliar
A resposta de Wilson está vinculada a uma extensão que não está mais disponível. A configuração e a configuração TMP descritas nesta resposta atingem o mesmo efeito.