Em uma sessão do Xorg, é possível reiniciar o shell do GNOME sem perder o estado do aplicativo, pois os aplicativos estão sendo executados em um servidor separado (X). Porém, diferente do Xorg no caso de uma sessão do Wayland, o shell GNOME não é separado do servidor Wayland.
Portanto, não há como reiniciar o shell GNOME em Wayland sem perder o estado do aplicativo, pois o servidor de exibição também fica inativo. É semelhante a reiniciar o servidor X em uma sessão do Xorg.
Essa é a razão pela qual essa opção de reinicialização do shell está desabilitada no Wayland (lembre-se de que geralmente a sequência de teclas para matar o servidor X também é desabilitada por padrão na sessão do Xorg) e provavelmente nunca haverá uma maneira não destrutiva de reiniciar o shell do GNOME em Wayland.
Você pode ver este relatório de bug do GNOME para obter detalhes.