Você não vê o efeito de transparência se não houver nada abaixo da camada, porque não há nada para o Photoshop calcular (todos esses modos de mesclagem envolvem cálculos com base nos valores dos pixels correspondentes em cada camada); portanto, apenas mostra a imagem.
Nesse caso específico (como Farray apontou enquanto escrevia isso!), Você pode fazer um truque fácil no Photoshop e criar uma imagem cheia de fumaça com toda a transparência intacta. É fácil porque você já tem fumaça cinza no preto, como um canal.
Aqui está o que você começa: Peguei uma imagem "fumaça no preto" (Camada 1) e a apliquei no modo Tela sobre um fundo arbitrário (Camada 0).
Etapa 1. Esconda todas as camadas, exceto a fumaça.
Etapa 2. Alterne para a Paleta de canais e clique com a tecla Ctrl pressionada (Cmd-clique no Mac) em qualquer uma das miniaturas de canal ("qualquer", pois nesse caso são todas iguais).
O que você acabou de fazer é carregar uma seleção com base nos valores da escala de cinza no canal que você escolheu. Assim como uma máscara, o branco é totalmente selecionado (opaco) e o preto é totalmente desmarcado (transparente), com os tons de cinza entre eles.
Etapa 3. Crie uma nova camada em branco, defina a cor do primeiro plano como branca e preencha a seleção. Oculte todas as outras camadas.
Etapa 4. Desmarque, ative seu plano de fundo original, admire o resultado e passe para coisas maiores!
A sugestão de Farray é muito semelhante. Execute as etapas 1 e 2 e use sua seleção para criar uma máscara. A vantagem dessa abordagem é que você pode "ajustar" a máscara no painel "Máscaras".