Respostas:
Isso é baseado no meu EVO, mas eles parecem baixar no diretório de armazenamento externo "privado" da Appstore, que é /sdcard/Android/data/com.amazon.venezia/cache/. Pelo que vi, eles parecem ser excluídos depois de instalados, mas tudo o que foi baixado e não instalado parece estar lá.
Obrigado pela sua resposta @eldarerathis !
Parece que pode ter mudado um pouco desde então. No meu Motorola Bionic eu encontrei os arquivos apk /sdcard/Android/data/com.amazon.venezia/files/apks.
Uma atualização para um dos meus aplicativos seria baixada na loja de aplicativos Amazon, mas não seria instalada por qualquer motivo. Então, cliquei em "download" na loja de aplicativos e abri imediatamente o ESFile Explorer, encontrei o apk e esperei que ele terminasse o download (clique em "atualizar" de vez em quando). Depois, cliquei no apk e ele foi instalado perfeitamente. Woot!