A resposta curta e simples é que uma fotografia é uma forma de expressão. Sou livre para me expressar, desde que não infrinja os direitos de outra pessoa.
No caso de algo como fotografia de rua, isso geralmente funciona de maneira bem simples: se eu tiro uma foto em um lugar onde alguém tem uma expectativa razoável de privacidade, estou violando seus direitos e não posso fazê-lo ( sem a permissão deles). Se eles estão em um lugar onde não têm direito à privacidade, não estou violando seus direitos.
Olhar para ele de outra direção, entrar em um local público dá consentimento implícito para ser assistido, comentado, escrito, gravado em vídeo, fotografado etc. Se alguém preferir não dar o consentimento implícito para entrar em público, tudo bem - eles podem ficar em um local privado pelo tempo que desejarem. Quando / se eles decidem se tornar públicos, renunciam a qualquer direito à privacidade, e o direito à liberdade de expressão de outras pessoas se torna o fator de controle, e uma fotografia não difere de nenhuma outra forma de expressão.
Dando ao sujeito do discurso, escrita, fotografia, fita de vídeo, etc., o controle sobre os resultados infringiria a liberdade de expressão do falante / escritor / fotógrafo. O simples fato de serem objeto da expressão em questão não lhes confere o direito de limitar ou violar a liberdade de expressão de outras pessoas. Tentar conceder-lhes esse direito destruiria totalmente a liberdade de expressão / expressão.
Do ponto de vista filosófico, vejo pouca diferença entre publicar uma fotografia de algo "escandaloso" ou escrever sobre o mesmo assunto. Se permitirmos ao sujeito controlar isso, é uma inclinação curta e escorregadia para "você não pode fofocar sobre mim" e até "você não pode ter pensamentos desagradáveis sobre mim".
Edit: Como apontou @ John Cavan, existem limites para a perda de privacidade implícita em sair em público. Em particular, o que eu fazer pública torna-se público, e que eu continuo permanece privada privado. É mero ato de sair pela minha porta que, obviamente, não dá a ninguém o direito de olhar na minha conta bancária, tira minhas roupas para que possam tirar fotos minhas nuas (não que alguém queira no meu caso!), Quebre em minha casa para ver quais vídeos eu gosto de assistir etc.