Como você suspeita aqui, latência de ping! = Um tempo de ida e volta do TCP, principalmente se houver dados sendo transferidos. É possível que tudo isso se deva a ACKs atrasados (que podem impor ~ 200ms, a configuração padrão comum) ou a má interação entre Nagle / e DACK, que pode aumentar até ~ 500ms. Uma captura de pacotes está em ordem aqui.
Observe também que o temporizador ack atrasado é independente de um fluxo TCP e é instanciado quando o sistema é inicializado. Portanto, ele pode disparar a qualquer momento entre 1 e 200ms dentro de um fluxo e geralmente causa um atraso no estilo de 'intervalo' conforme você descreve.