Sim, existem algumas maneiras de fazer isso, dependendo do que você está tentando realizar exatamente.
O primeiro método pode ser feito através da configuração do samba. Isso permitirá apenas que esses usuários se conectem ao Samba; outros usuários ainda poderão fazer login através de outros serviços (ssh, termo local, etc.). Com isso, você desejará adicionar uma linha à sua seção [global] no smb.conf:
valid users = @groupA @groupB
O outro método é modificando as regras do PAM. Distribuições diferentes têm pequenas diferenças aqui, mas de um modo geral existem regras de PAM por serviço e regras comuns, você pode decidir o que é melhor. Você deseja adicionar uma restrição de conta usando o módulo pam_require. Um exemplo no meu laptop (Fedora 13) seria modificar a seção da conta em /etc/pam.d/system-auth para:
account required pam_unix.so
account required pam_require.so @groupA @groupB
account sufficient pam_localuser.so
account sufficient pam_succeed_if.so uid < 500 quiet
account required pam_permit.so
Para simplificar a administração, convém criar um novo grupo no AD com o objetivo de rastrear usuários que podem fazer login neste servidor.