Você precisa usar várias cláusulas na entrada do arquivo de configuração, mas de uma maneira muito específica. Há um erro em algumas configurações que causam a sintaxe geralmente recomendada e mais simples ("Usuário do Grupo de Correspondência FOOGROUP! Nome de usuário") para fazer com que todos os outros membros do grupo falhem na Correspondência ou permita que eles escapem da prisão de chroot.
No Debian Jessie usando o OpenSSH_6.0p1 Debian-4, OpenSSL 1.0.2d, obtenho o resultado de que todos os outros membros do grupo não podem mais se conectar. Outros relatam quebras de prisão. Nos dois casos, uma sintaxe de
Match Group FOOGROUP User *,!username
parece funcionar sem efeitos colaterais. Algum tipo de bug no analisador, sem dúvida.