Supondo que a quantidade de retrocesso seja apenas um clique da roda de rolagem e não a meio caminho para cima ou para baixo na página, o que você descreve é típico dos ratos com roda, especialmente os mais antigos.
Se você abrir um mouse de roda e observar como o mecanismo de roda de rolagem funciona, verá que ele tem uma série de solavancos dentro da roda e uma mola que pressiona contra os solavancos para causar a sensação de clique. Além disso, você notará uma série de fendas finas na face da roda através das quais passa um pequeno feixe de luz infravermelha, e o mouse detecta as interrupções à medida que a roda gira.
O problema é que os solavancos no interior da roda ("posições de repouso") nem sempre estão perfeitamente alinhados com as fendas. Isso pode ser exacerbado com a idade devido ao desgaste. Dessa forma, quando a roda é girada, o mouse pára de rolar, mas quando você solta a roda, ela se instala no solavanco, causando uma leve rotação para frente ou para trás.
Não há muito o que se fazer sobre isso, mas uma opção é abrir o mouse e remover a mola completamente (aquela com uma extremidade dentro da roda, não a que está segurando a roda). Pessoalmente, acho melhor porque, então, o mouse não clica e se sente mais suave. De fato, é bastante desejável, porque cliques excessivos com alguns ratos podem criar uma grande dor de cabeça devido a todas as vibrações. O problema, é claro, é que, se a roda estiver muito frouxa, ela poderá girar muito livremente e causar seu próprio problema de rolagem irregular.