Apenas olhando o layout da página final? Acho que não há realmente uma maneira fácil de dizer, na maioria dos casos, independentemente do tipo de publicação. Eu acho que se um mecanismo de layout foi refinado para produzir bons layouts e um humano limpou os resultados (ou seja, Xtags com QuarkXpress), seria praticamente impossível dizer.
As publicações técnicas de ciências e matemática que usam uma variante do LaTeX têm uma aparência distinta, mas isso só ocorre devido ao conjunto específico de fontes necessárias para usá-la. Mas os livros de matemática da minha empresa têm layouts bastante sofisticados, feitos no LaTeX ou no Framemaker (embora este último seja raro atualmente), que normalmente começam como modelos do InDesign. Somente a equipe de produção saberia que havia uma diferença por causa do raro comprometimento que às vezes acontece.
Digo isso pela minha experiência em criar materiais de marketing no InDesign com apenas Applescript (solte um XML e o script lida com o restante, incluindo a limpeza do layout). Mesmo depois de portar os modelos do Quark para o InDesign, os resultados são indistinguíveis um do outro, além do fato de que meu script não comete tantos erros de layout quanto os designers quando o faziam manualmente.