Para concluir a resposta de David, um switch descobre quem está atrás de uma porta, observando os endereços MAC dos pacotes recebidos nessa porta. Quando o interruptor está ligado, ele não sabe nada. Depois que o dispositivo A envia um pacote da porta 1 para o dispositivo B, o switch descobre que o dispositivo A está atrás da porta 1 e envia o pacote para todas as portas. Depois que o dispositivo B responde a A da porta 2, o switch envia apenas o pacote na porta 1.
Esse relacionamento de MAC para porta é armazenado em uma tabela no switch. Obviamente, muitos dispositivos podem estar atrás de uma única porta (se um switch estiver conectado à porta como exemplo), portanto, pode haver muitos endereços MAC associados a uma única porta.
Esse algoritmo é interrompido quando a tabela não é grande o suficiente para armazenar todos os relacionamentos (não há memória suficiente no comutador). Nesse caso, o switch perde informações e começa a enviar pacotes para todas as portas. Isso pode ser feito facilmente (agora você sabe como hackear sua rede) forjando muitos pacotes com diferentes MAC a partir de uma única porta. Isso também pode ser feito forjando um pacote com o MAC do dispositivo que você deseja espionar, e o switch começará a enviar o tráfego para esse dispositivo.
Os comutadores gerenciados podem ser configurados para aceitar um único MAC de uma porta (ou um número fixo). Se mais MACs forem encontrados nessa porta, o switch poderá encerrá-la para proteger a rede ou enviar uma mensagem de log ao administrador.
EDITAR:
Sobre o tráfego do youtube, o algoritmo descrito acima funciona apenas no tráfego unicast. A transmissão Ethernet (ARP como exemplo) e o multicast IP (usado algumas vezes para streaming) são tratados de maneira diferente. Não sei se o youtube usa multicast, mas pode ser um caso em que você pode detectar o tráfego que não pertence a você.
Sobre o tráfego de páginas da Web, isso é estranho, pois o handshake TCP deve ter configurado o MAC para a tabela de portas corretamente. A topologia de rede faz cascata de muitos switches muito baratos com pequenas tabelas sempre cheias ou alguém está mexendo com a rede.