OK, vamos separar a questão dos caracteres que:
- não são válidos em nenhum documento XML.
- precisa ser escapado.
A resposta fornecida por @dolmen em " O que são caracteres inválidos no XML " ainda é válida, mas precisa ser atualizada com a especificação XML 1.1.
1. Caracteres inválidos
Os caracteres descritos aqui são todos os caracteres que podem ser inseridos em um documento XML.
1.1 No XML 1.0
A lista global de caracteres permitidos é:
[2] Char ::= #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] /* any Unicode character, excluding the surrogate blocks, FFFE, and FFFF. */
Basicamente, os caracteres de controle e caracteres fora dos intervalos Unicode não são permitidos. Isso significa também que 
é proibido chamar, por exemplo, a entidade de caractere .
1.2 No XML 1.1
A lista global de caracteres permitidos é:
[2] Char ::= [#x1-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF] /* any Unicode character, excluding the surrogate blocks, FFFE, and FFFF. */
[2a] RestrictedChar ::= [#x1-#x8] | [#xB-#xC] | [#xE-#x1F] | [#x7F-#x84] | [#x86-#x9F]
Esta revisão da recomendação XML estendeu os caracteres permitidos para que caracteres de controle sejam permitidos e leva em consideração uma nova revisão do padrão Unicode, mas esses ainda não são permitidos: NUL (x00) , xFFFE , xFFFF ...
No entanto, o uso de caracteres de controle e caracteres Unicode indefinidos é desencorajado.
Também é possível notar que nem todos os analisadores levam isso em consideração e os documentos XML com caracteres de controle podem ser rejeitados.
2. Caracteres que precisam ser escapados (para obter um documento bem formado):
O <
deve ser escapado com uma <
entidade, pois é assumido o início de uma tag.
A &
devem ser precedidos por uma &
entidade, uma vez que se presume ser o início de uma referência de entidade
O >
deve ser escapado com a >
entidade. Não é obrigatório - depende do contexto - mas é altamente recomendável evitá-lo.
Ele '
deve ser escapado com uma '
entidade - obrigatório nos atributos definidos entre aspas simples, mas é altamente recomendável sempre escapá-lo.
Ele "
deve ser escapado com uma "
entidade - obrigatório nos atributos definidos entre aspas duplas, mas é altamente recomendável sempre escapá-lo.