Existem vários projetos que abordam isso. Os dois mais ativos, AFAIK, são
sikuli e AutoKey (um projeto que eu ajudo a apoiar).
Eu não usei o sikuli, mas parece basear-se em encontrar padrões na tela e acionar ações com base neles.
O AutoKey permite ao usuário definir frases de gatilho e teclas de atalho que expandem frases (semelhantes a um recurso de correção automática muito poderoso) ou executam scripts escritos em Python3, limitados apenas pelas habilidades de programação do usuário. Ele fornece uma API para geração de eventos de teclado e mouse. Ele também se integra ao Xautomation, que permite encontrar uma pequena imagem na tela e mover o cursor do mouse para ela.
Uso o AutoKey há muitos anos e o apoio em nossa lista . É como uma série de ferramentas de produtividade: você pode sobreviver sem ele, mas depois que começar a usá-lo, você se perguntará como nunca o fez.
Algumas especificidades:
O AutoKey não funciona com definições e scripts do AutoHotKey. Eles terão que ser reescritos.
Escrevi um script de prova de conceito (disponível mediante solicitação) que traduz frases do AutoHotKey em frases do AutoKey, mas é apenas um ponto de partida e ignora a maioria das opções do AutoHotKey.
Como os scripts do AutoKey são escritos em Python3, também é possível chamar ferramentas como xdotool e wmctrl de dentro de um script para fornecer funcionalidade adicional, mas isso geralmente não é necessário. Embora os scripts do AutoKey sejam escritos em Python, muito pode ser realizado com um conhecimento muito limitado do Python. Você não precisa ser um programador Python fluente para a maioria dos propósitos.
Se você usa uma distribuição baseada na Debian, não instale a versão do AutoKey fornecida pela sua distribuição. O pacote do AutoKey é sem manutenção e muito antigo. Obtenha uma versão atual de nós .