Consegui adicionar um ícone de aplicativo ao meu projeto android com reação nativa, seguindo o conselho desse cara e usando o Android Asset Studio
Aqui está, transcrito no caso de o link ficar inoperante:
Como fazer upload de um ícone de aplicativo no Android React-Native
1) Faça o upload da sua imagem para o Android Asset Studio . Escolha os efeitos que você deseja aplicar. A ferramenta gera um arquivo zip para você. Clique em Download .Zip.
2) Descompacte o arquivo na sua máquina. Em seguida, arraste sobre as imagens que deseja para a sua /android/app/src/main/res/
pasta. Coloque cada imagem na subpasta corretamipmap-{hdpi, mdpi, xhdpi, xxhdpi, xxxhdpi}.
3) Não (como eu originalmente) arraste e solte ingenuamente a pasta inteira sobre sua pasta res. Como você pode remover seus /res/values/{strings,styles}.xml
arquivos completamente.