Você pode definitivamente excluir os arquivos no diretório tmp e, na verdade, é altamente recomendável fazê-lo e mantê-lo limpo. Você deve manter apenas o arquivo index.html no lugar, para impedir uma possível lista de diretórios dos arquivos.
A pasta tmp (temporária) é usada pelo Joomla e suas extensões ao executar instalações de software ou durante o sistema manipular arquivos e precisa de um local para armazená-los temporariamente. Em muitos casos, esses arquivos ficam presos na pasta tmp. Aparentemente, isso pode resultar em problemas de espaço em HD, mas também há outro risco maior.
Como esses arquivos podem vir de extensões antigas, uma vez instalados no site, eles podem conter códigos antigos vulneráveis e inseguros. Eles também podem ser qualquer tipo de arquivo php executável ou podem conter outras informações confidenciais que podem ser expostas.
Embora suas outras configurações de segurança e o servidor possam ser uma salvaguarda, a melhor prática é excluir esses arquivos e manter seu site limpo, algo que você deve executar periodicamente.
Como mencionado acima, você deve manter apenas o arquivo index.html. Para maior segurança, você também pode colocar um arquivo .htaccess com regras para impedir o acesso da web à pasta.
Sobre permissões de diretório tmp.
Como dito, a pasta tmp é usada pelo sistema Joomla durante a instalação. É uma situação comum quando permissões insuficientes ou uma entrada incorreta na configuração do caminho do diretório tmp causam falhas nas instalações. Nesse caso, verifique se você definiu corretamente o caminho no arquivo de configuração para o diretório tmp e se ele possui permissões suficientes.
Limpeza automática do diretório tmp
Para um processo automatizado de limpeza automática da pasta tmp, juntamente com a sugestão de Lodder para o Akeeba Admin Tools, eu recomendaria o plugin Cache Cleaner do NoNumber, que fornece uma configuração especial para a pasta tmp também.