As extensões, na verdade, não alteram o tipo de arquivo, mas geralmente sugerem ao sistema o que fazem com um item específico.
DMGs não são executáveis, são imagens de disco. São arquivos que atuam como discos, que geralmente contêm os executáveis e outros arquivos para aplicativos. Quando você clica duas vezes em um, o sistema o monta e, em seguida, você tem acesso aos arquivos internos.
O Windows e o OS X executam arquivos executáveis binários, embora estejam em formatos diferentes. A grande diferença no que um usuário vê se estiver usando a GUI é que, no Windows, você geralmente vê o arquivo executável .exe, que reside em uma pasta que contém outros arquivos e informações que o programa usa. No OS X, todos os outros arquivos, juntamente com o executável principal, estão contidos em um "pacote" (realmente uma pasta) com a extensão .app. Clicar duas vezes em um pacote .app executará o executável interno e carregará seu aplicativo.
Fora da GUI, na estrutura real do arquivo, os sistemas Mac e Windows são realmente muito semelhantes; essas diferenças são principalmente uma questão de como o sistema apresenta coisas ao usuário para manipulação na GUI.