As seguintes forças estão atuando em sua bicicleta enquanto você desce (em ordem decrescente mais ou menos):
Gravidade
A força da gravidade é proporcional à massa. Se dois ciclistas tiverem o mesmo perfil aerodinâmico, o ciclista mais pesado descerá com uma velocidade máxima mais alta. Isso é facilmente visto na fórmula da velocidade terminal . A explicação intuitiva é que os dois experimentarão a mesma força devido ao arrasto, mas o ciclista mais pesado terá uma força maior devido à gravidade.
Como você é mais pesado que seu amigo, a gravidade não pode explicar por que ele é mais rápido.
Arrasto
O arrasto tem um enorme efeito na velocidade descendente. É possível que seu amigo esteja ficando mais apertado, o que, como apontado pelo @ChefFlambe, pode até incluir a posição da sua perna. As propriedades aerodinâmicas da bicicleta (estrutura, aros, raios etc.) também podem fazer a diferença.
Meu palpite é que a posição do piloto é a explicação mais provável para sua diferença de velocidade. Como você é mais alto que seu amigo, pode ser mais difícil entrar em uma situação difícil. Você mencionou que acha que podem ser os aros. Se for esse o caso, a roda dianteira fará uma diferença maior que a roda traseira; portanto, você pode tentar trocar as rodas dianteiras para descartar isso.
Pedalar
Um ciclista que continua a pedalar ladeira abaixo vai mais rápido do que aquele que está na costa. Uma bicicleta com uma marcha superior mais alta pode ser pedalada a uma velocidade mais alta, e um ciclista que pode andar em uma cadência mais alta pode ter uma vantagem.
Para descartar o pedal como explicação, tente descer com os dois na costa.
Resistência ao rolamento
Pneus com alta resistência ao rolamento são mais lentos do que pneus com baixa resistência ao rolamento. Os fatores incluem não apenas o tipo e a largura do piso, mas também o tipo de borracha e revestimento.
Se os dois têm rodas similares de 700x23c com aproximadamente a mesma pressão (ou um pouco mais altas para o ciclista mais pesado), você pode excluir isso.
Atrito
O atrito nos cubos diminuirá a velocidade da bicicleta, mas essa força provavelmente é insignificante, a menos que haja um problema com os rolamentos.
Outra fonte de atrito está no freehub ou na roda livre, que será catraca (clique) durante a navegação. O atrito pode ser difícil de comparar com o do seu amigo, no entanto, a menos que você remova muito de cada um dos hubs traseiros.