Aqui está uma solução alternativa que oculta apenas os números, mas não altera a margem esquerda, para que o texto não seja tão grande ao entrar / sair do modo de inserção:
set number
augroup number
autocmd!
autocmd InsertEnter * highlight LineNr ctermfg=white guifg=white
autocmd InsertLeave * highlight LineNr ctermfg=130 guifg=Brown
augroup end
Ao entrar no modo de inserção, isso definirá a cor do texto para a cor de fundo. No meu caso, isso é branco, mas pode ser diferente no seu caso. Quando deixamos o modo de inserção, ele o redefine para o padrão do meu esquema de cores.
Você pode descobrir o padrão para o seu esquema de cores com:
:highlight LineNr
LineNr xxx term=underline ctermfg=130 guifg=Brown