Não tenho certeza se o faria (embora, devido ao JavaDoc, eu não possa lhe dizer por que hesito), mas há a lista de exceções suprimidas Throwable, às quais você pode adicionar via addSuppressed. O JavaDoc não parece dizer que isso é apenas para a JVM usar em try-with-resources:
Anexa a exceção especificada às exceções que foram suprimidas para entregar essa exceção. Esse método é seguro para threads e normalmente é chamado (automaticamente e implicitamente) pela instrução try-with-resources.
O comportamento de supressão é ativado, a menos que seja desativado por meio de um construtor. Quando a supressão está desativada, esse método não faz nada além de validar seu argumento.
Observe que quando uma exceção causa outra exceção, a primeira exceção geralmente é capturada e a segunda exceção é lançada em resposta. Em outras palavras, há uma conexão causal entre as duas exceções. Por outro lado, há situações em que duas exceções independentes podem ser lançadas em blocos de códigos irmãos, em particular no bloco try de uma instrução try-with-resources e no bloco gerado pelo compilador finalmente que fecha o recurso. Nessas situações, apenas uma das exceções lançadas pode ser propagada. Na instrução try-with-resources, quando existem duas exceções, a exceção originada no bloco try é propagada e a exceção do bloco final é adicionada à lista de exceções suprimidas pela exceção do bloco try. Como uma exceção desenrola a pilha,
Uma exceção pode ter suprimido as exceções enquanto também é causada por outra exceção. Se uma exceção tem ou não uma causa é sabido semanticamente no momento de sua criação, ao contrário de uma exceção suprimir ou não outras exceções que normalmente são determinadas apenas após o lançamento de uma exceção.
Observe que o código escrito do programador também pode tirar vantagem de chamar esse método em situações em que há várias exceções entre irmãos e apenas uma pode ser propagada.
Observe o último parágrafo, que parece se adequar ao seu caso.
AggregateExceptionque contém uma lista de exceções. Essa ideia também deve ser aplicada ao Java.