Teoricamente, sim, você deve usar um passaporte japonês.
De acordo com Lei de Controle de Imigração e Reconhecimento de Refugiados , Os artigos 60 e 61 do capítulo 7 ( tradução do inglês ):
Artigo 60.o, n.o 1
Qualquer cidadão japonês (exceto para membros da tripulação) que se afaste do Japão com a intenção de prosseguir para uma área fora do Japão deverá possuir um passaporte válido e deverá receber a confirmação de saída de um inspetor de imigração, de acordo com os procedimentos estabelecidos pela Portaria do Ministério da Justiça, no porto de entrada ou partida de onde essa pessoa se afasta.
(2)
O nacional japonês previsto no parágrafo anterior não se afastará do Japão, a menos que tenha recebido a confirmação de partida do Japão.
Artigo 61
Qualquer cidadão japonês (exceto para membros da tripulação) que retorne ao Japão de uma área fora do Japão deverá possuir um passaporte válido (um documento que certifica a nacionalidade japonesa se ele não puder possuir um passaporte válido) e receberão a confirmação de seu retorno ao Japão de um inspetor de imigração, de acordo com os procedimentos estabelecidos pela Portaria do Ministério da Justiça, no porto de entrada ou partida em que tal pessoa aterrissar.
No entanto, na prática, você não precisa disso. Há muitos japoneses menores de idade que nasceram de casais de estrangeiros japoneses nascidos fora do Japão, mas nunca ouvi ninguém que tenha sido impedido de entrar / voltar para o Japão.