Se seus amigos conseguem fazer SSH no seu computador, eles estão usando parte da sua largura de banda e, portanto, é impossível impedi-los completamente de acessar sua conexão à Internet.
Dito isto, uma solução seria limitar o que seus amigos podem fazer com sua conexão. Você pode configurar um firewall que coloque na lista de permissões os IPs de seus amigos e na lista negra de todo o resto. Dessa forma, seus amigos poderiam fazer o SSH no seu computador, mas a partir daí, não seriam capazes de alcançar nenhum outro IP que não o deles.
Eu nunca configurei um firewall específico para o usuário , mas acredito que é possível obter isso com o IPTables . Além disso, lembre-se de que seus usuários ainda podem consumir grande parte da sua largura de banda carregando arquivos grandes no seu servidor. Se você deseja evitar isso especificamente, teria que limitar a largura de banda por usuário .