Acho que sua pergunta é sobre taxa de transferência de arquivos, não diferenças nas taxas de conexão. Não se trata de bits ou bytes ou 1024.
A taxa de transferência de arquivos não será sincronizada com a taxa de conexão, será cerca de 1/8 da taxa de conexão. essa é uma taxa MÁX. Portanto, adicione a isso o atraso normal da Internet e você terá uma desaceleração total. Este é um fato da Internet.
Um fato que aqueles de uso usando FTP precisam lidar. Tentei pesquisar o problema, mas não há muitas informações por aí, já que muitas pessoas não usam FTP, algumas que não percebem que são (Google Docs), a maioria das atividades de FTP são arquivos pequenos e para grandes arquivos, você pode apenas transmitir o conteúdo.
Geralmente, isso não é um problema para a DL, já que todos temos conexões domésticas de 10M ou melhores, para que você possa DL em cerca de 1M.
Onde isso realmente é ruim é no Upload. As conexões domésticas à Internet têm uma taxa de upload inferior a 1M, geralmente 768K ou 512K. 1/8 disso é péssimo, cerca de 100k é o que recebo em um bom dia, a média é de cerca de 35k.