Eu acho que o problema aqui é de nível de detalhe. Enquanto a vetorização funciona muito bem para criar uma imagem que pode ser dimensionada infinitamente, ela se baseia em padrões firmes que podem ser descritos matematicamente.
Infelizmente, a vida real é cheia de imperfeições e variações que impossibilitam a descrição em um formato vetorial puro, pelo menos com qualquer ganho significativo. Teoricamente, podíamos criar um formato vetorial que mapeia cada pixel, mas teríamos uma imagem rasterizada que não poderia ser dimensionada melhor do que uma imagem rasterizada normal.
A compactação de imagem e vídeo já é a aplicação do tipo de pensamento que você está falando. Eles procuram os padrões que podem ser identificados para reduzir o armazenamento necessário e, ao usar a compactação com perdas, inclinam ainda mais as regras para obter uma correspondência, para que possam reduzir a quantidade de informações necessárias para representar a imagem.
Vetorizar a imagem é outro nível extremo para isso, mas você notará que a qualidade da imagem sempre diminui significativamente quando essa vetorização é aplicada (devido à perda de informações aleatórias que fazem uma foto parecer com a vida real).
Quanto ao fato de uma imagem vetorial de uma cena ser uma foto ou não. Eu acho que é uma pergunta muito difícil de responder. Pessoalmente, eu diria que sim, se é uma renderização da vida real com base na amostragem da luz (independentemente de quão real seja), acho que provavelmente poderia ser considerada uma fotografia, mas também poderia ver como alguém poderia veja-o como mais parecido com uma pintura nesse ponto também. Eu não acho que exista uma resposta forte aqui.