Três métodos que eu posso pensar.
Aumentar por atrito
Sua idéia de embrulhar a broca em uma lixa não é ruim. A única maneira "certa" de fazer isso é um pouco diferente, e isso nem é verdade.
Você provavelmente usou a lixa errada. Tente cerca de 80 grãos e certifique-se de ir em um padrão de vaivém, aproximadamente a cada meia polegada que você mergulha.
Também existe uma ferramenta como essa, chamada raspagem de tambor. Pode ajudar a sua situação.
Ampliar por cortador
Se você REALMENTE quiser tornar isso PERFEITO, poderá usar um roteador. Retire-o uma vez do lado com uma bucha de guia de 3/8 e um pouco de 1/2 ", depois coloque uma bucha de 1/2" e faça o outro lado.
Você pode até usar um bit de roteador de rastreamento. Eles têm rolamentos e lâmina com diâmetro quase idêntico, exceto que a lâmina quase sempre é APENAS mais larga que o rolamento. Ele decola cerca de 1/32 de polegada de cada vez, então você terá que traçar seu buraco cerca de 20 vezes para tirar um pedaço tão pequeno de material.
Pagar por força
Lembre-se de que o cano também não é perfeitamente redondo e seu furo também pode ser um pouco mais largo. Mesmo que você retire metade do que realmente precisa, a madeira se flexionará e parecerá sem corda contra o cano. O tubo pode ser maior do que você pensa, o buraco pode ser menor do que você pensa. As tolerâncias em ambos são realmente muito boas.
Você pode até achar mais fácil afinar o tubo. O metal não goma a lixa tão facilmente quanto a madeira.
Você pode, depois de um pouco de lixar, por favor, forçá-lo a entrar. Coloque um pedaço de madeira de sacrifício em cima do buraco, pegue um martelo e bata no cano ali. 1/16 é 0,0625 ... Existem pregos que são mais largos que isso, e podem ser perfurados com um martelo. São apenas 31 MILHARES de polegada de cada lado.