Para explicar o que está acontecendo com seus apóstrofes escapados, examinaremos seu segundo exemplo (também veja aspas simples ou fortes ):
$ echo '\'Hello World\''
> # expects you to continue input
Aqui, você deixou a cotação suspensa, como declarou. Agora apare o final e mude para:
v v v
$ echo '\'Hello World # Echo two strings: '\' and 'Hello World'.
\Hello World ^
A sub-string "Hello World" não foi citada aqui, mas se comportou como se fosse forte. Usando seu exemplo novamente, apare o final de maneira diferente desta vez:
vv v (plain apostrophe)
$ echo '\'Hello World\' # Will echo: '\' and 'Hello World''
\Hello World' ^^ # Note that the trailing ' char is backslash escaped.
A sub-string "Hello World" se comporta novamente como se fosse uma citação forte, com apenas o apóstrofo adicionado (escapou, portanto não é mais uma citação) no final.
Quando outra aspas simples é adicionada ao final (seu exemplo original), a sequência é deixada suspensa e aguardando uma cotação fechada.
echo \''Hello World'\'