Entendo o que você está dizendo, isso aconteceu comigo há muito tempo.
Antes de tudo, nunca mova o controle deslizante para a extrema esquerda.
Quando você abre a página de vídeo, o vídeo inicia o buffer automaticamente, agora, quando você altera a qualidade do vídeo de 360p para 240p (por exemplo), o conteúdo já carregado é perdido e o novo buffer começa em 240p a partir do momento 00:01 (s) ( ou pode ser uma fração de segundo).
Dizendo isso, se você mover o controle deslizante para uma parte do vídeo que ainda não foi baixada (00:00 não é baixada - foi baixada em 360p, mas depois foi perdida), todo o conteúdo baixado será novamente perdido e o o vídeo inicia o buffer novamente a partir do ponto em que você definiu o controle deslizante.
O que é quando não é extrema esquerda?
Você começou a assistir a um vídeo, a barra de progresso mostra até que ponto o vídeo foi baixado e você move o controle deslizante para um ponto dentro desse intervalo, mas perde todo o conteúdo e o buffer começa novamente - POR QUÊ?
Isso ocorre porque há muitos problemas com a barra de progresso do YouTube. O progresso está sempre alguns segundos atrás do que é mostrado na barra de progresso. E também, às vezes, o nível de progresso é completamente perdido e o player mostra que o vídeo é baixado até o final, mas não é - e como eu já disse acima, mover o controle deslizante para um ponto em que o vídeo não foi baixado faz com que você perde todo o conteúdo e começa a armazenar em buffer a partir desse ponto.