É complicado, mas vou tentar explicar isso. A luz de um único ponto se espalha em todas as direções e atinge toda a superfície frontal da lente. Essa luz é focada novamente em um pequeno ponto da lente se a lente estiver focada na distância do ponto. Caso contrário (ou seja, o ponto faz parte do plano de fundo), a luz pousa no sensor em um grande círculo e cria bokeh.
Se você coloca uma forma na frente da lente, bloqueia pedaços da propagação da luz do ponto e o resultado é que, em vez de um círculo, sua forma é projetada no sensor.
Sua forma deve estar muito próxima da lente para isso; caso contrário, a luz do ponto não terá se espalhado o suficiente até você começar a ocluí-la.
Eu esperaria que sua imagem estivesse nessa forma (como olhar através de um buraco de fechadura) com a parte externa da forma sendo preta.
O motivo pelo qual você simplesmente não vê uma imagem na forma do seu filtro de bokeh, como sugere, é que o filtro está muito próximo da frente da lente e, portanto, não bloqueia o centro da lente. Qualquer luz que atinja alguma parte do elemento frontal da lente tem a chance de entrar na imagem, portanto não há bordas pretas etc.
Se a forma estiver a uma pequena distância na frente da lente, haverá partes da cena impedidas de atingir qualquer superfície da lente, essas áreas aparecerão em preto na imagem.