Sim, o carregador USB é uma fonte de alimentação regulada. Os dispositivos USB esperam cerca de 5 V na linha Vcc. Observe que a regulamentação de algumas fontes de alimentação USB mais baratas é muito ruim, especialmente se você estiver próximo da corrente máxima da fonte de alimentação.
A melhor maneira de ter certeza se você precisa de um regulador é verificar o regulador e o que sua fonte de alimentação está fornecendo. Se você possui um multímetro, use-o no modo de tensão nos dois pinos externos, se o conector USB da fonte de alimentação. Você deve obter cerca de 5 V.
No guia ao qual você vinculou, o regulador usado é do padrão 7805. Aqui 78 é o número da série e 05 é a tensão de saída do regulador específico.
Esses reguladores precisam de uma tensão de entrada mais alta de cerca de 7 a 8 volts (2 a 3 volts acima da tensão de saída) para poder regular adequadamente. Basicamente, esse tipo de regulador, chamado regulador linear, transforma o excesso de tensão em calor e fornece uma saída de 5 V (para o 7805). Se a tensão de entrada estiver muito baixa, não será possível fornecer a tensão de saída correta.