Pronto para uso, o git pode facilmente adicionar arquivos binários ao seu índice e também armazená-los de uma maneira eficiente, a menos que você faça atualizações frequentes em grandes arquivos não compactáveis.
Os problemas começam quando o git precisa gerar diffs e mesclagens: git não pode gerar diffs significativos ou mesclar arquivos binários de qualquer maneira que possa fazer sentido. Portanto, todas as mesclagens, rebases ou escolhas que envolvem uma alteração em um arquivo binário envolvem você na resolução manual de conflitos nesse arquivo binário.
Você precisa decidir se as alterações no arquivo binário são raras o suficiente para que você possa conviver com o trabalho manual extra que elas causam no fluxo de trabalho normal do git envolvendo mesclagens, rebases, escolhas seletivas.