Não existe um DVD "formatado para Windows". Os DVD e CD-ROMs têm seu próprio formato, compatível com Windows, Mac, Linux e todos os tipos de dispositivos, players de mídia, etc.
Vou recomendar o teste:
1) O Mac pode reproduzir outros DVDs que não o problemático?
2) O DVD problemático é reproduzido em outro PC?
Se o teste 1 for negativo, tente resolver o problema com a unidade de DVD no Mac - por exemplo, limpar a lente, etc. Talvez considere comprar uma unidade de DVD USB externa.
Se o teste 2 for negativo, tente limpar o próprio disco de DVD e verifique se há arranhões, etc. Talvez não seja possível recuperar totalmente todos os dados dele.
Se ambos os testes forem positivos, você poderá ter um DVD que está sendo preenchido com dados - ou seja, ele ainda não foi finalizado. Você precisaria finalizar o disco - mais facilmente usando o software original usado para gravar dados no disco.