1 Podemos usar regex no arquivo robots.txt para bloquear URLs? Eu tenho alguns URLs gerados dinamicamente. Posso usar regex para bloquear esses URLs em um arquivo robots.txt? 23 robots.txt regular-expression