Se eles estiverem na tela inicial, pressione e segure-os e arraste-os para a lixeira na tela. Dependendo do telefone que você possui e da versão do Android que está sendo executada, a lixeira pode estar em um lugar diferente. Na imagem abaixo, a lata de lixo está na parte inferior da tela, mas acho que no Ice Cream Sandwich e Jelly Bean está no topo.
Se você deseja excluir um aplicativo do telefone (e assim na tela do menu), acesse Settings -> Apps
e encontre o aplicativo do qual deseja se livrar, clique nele e deve haver uma Uninstall
opção, clique aqui e o aplicativo e o ícone serão exibidos. ser removido do menu.
Como esses ícones / aplicativos estão aparecendo sem a instalação de qualquer coisa, suponho que eles estejam sendo instalados por um aplicativo mal-intencionado, embora possa excluir os ícones que o aplicativo mal-intencionado pode apenas reinstalá-los, você deve lidar com a raiz do problema, consulte a resposta do Izzys para uma sugestão sobre como fazer isso.