Respostas:
Isso dependeria inteiramente da confiança que você tem sobre a instalação do PHP. Se você acha que é sólido, mesmo que um invasor saiba tudo sobre a instalação do PHP, poderá deixá-lo no lugar.
Mas, realmente, por que você deixaria isso em um sistema de produção? Pode haver explorações que você não conhece na sua versão do PHP - as pessoas podem agora ou no futuro verificar sua versão do PHP ou opções específicas que você ativou, porque elas sabem como realizar essas explorações. Então, mantendo isso publicamente, você se adicionou à lista de hits deles.
Se você quiser continuar, pode colocá-lo em um diretório protegido por senha ou apenas ativá-lo quando necessário. Dado o pequeno custo dessas opções, não correria o risco de mantê-lo público.
phpinfo()
função não é uma idéia sábia.
<?php if ( $_SERVER['REMOTE_ADDR'] == '1.2.3.4' ) phpinfo(); ?>
(onde1.2.3.4
é o seu endereço IP)