Meu problema era o mesmo, eu tinha consultas IPV6 feitas antes do IPV4 e elas estavam desperdiçando recursos, então mudei meu arquivo /etc/gai.conf conforme o freddyb postou, mas meu cenário é um pouco diferente, meu servidor é Natted, então O IPv4 não terá precedência sobre o IPv6 apenas com essa linha. A solução também está comentando outras linhas no gai.conf, para que fique assim
#For sites which prefer IPv4 connections change the last line to
precedence ::ffff:0:0/96 100
...
# For sites which use site-local IPv4 addresses behind NAT there is
# the problem that even if IPv4 addresses are preferred they do not
# have the same scope and are therefore not sorted first. To change
# this use only these rules:
#
scopev4 ::ffff:169.254.0.0/112 2
scopev4 ::ffff:127.0.0.0/104 2
scopev4 ::ffff:0.0.0.0/96 14
Portanto, seu servidor tentará primeiro o ipv4, mesmo se você for Natted!