Acabei de atualizar para Yosemite e minha melhor interpretação atual do que está acontecendo é que há um novo comportamento que "ajuda" move o mouse (e uma janela se você estiver movendo um) para mais perto de uma borda da tela ao mover-se com rapidez suficiente.
Eu realmente não gosto disso, em grande parte porque causa um comportamento muito estranho quando estou jogando.
Essa é uma configuração que pode ser alterada?
Com testes adicionais, parece que o mouse não se ajusta ao limite, mas possui uma aceleração tremenda em alguns casos (mudanças rápidas de direção?) Que não havia antes da atualização para o Yosemite.
defaults write .GlobalPreferences com.apple.mouse.scaling -1
método como uma maneira de alternar a aceleração do mouse aqui: github.com/alfiedouglas0/mouseacc . Pensei em publicá-lo aqui, caso alguém ache útil!