Bem, o Ubuntu não é o culpado, pode haver algo com o seu roteador. O sistema operacional não diminui a conexão com a internet. Verifique as configurações de firewall, configurações de IP, DNS e verifique se você possui os drivers de NIC mais recentes.
Além disso, tente desativar o compartilhamento da Internet desmarcando Disponível para todos os usuários. Eu apenas tentei e fez a diferença. Para fazer isso, veja abaixo:

Com a opção Desmarcada

Com a opção marcada

A velocidade do download praticamente não tem nada a ver com o poder de processamento de um computador. Supondo que seu computador seja capaz de executar qualquer sistema operacional em execução e que possua uma porta Ethernet 10/100, suas velocidades de download não serão mais afetadas por nada nessa máquina. As velocidades de download são afetadas principalmente pelo servidor ao qual você está se conectando e por mais ocupado o tráfego de rede entre você e esse servidor, e obviamente a velocidade da sua conexão pela qual você está pagando ao seu provedor de serviços de Internet. 1
O SO não tem nada a ver com a velocidade do seu download. Isso se refere à sua conexão à Internet ou ISP, ao dispositivo que você está usando no seu PC para acesso à Internet (exemplo: LAN e Modem, Configuração de Rede, Roteador (a configuração), Dispositivos Sem Fio e muito mais) e a velocidade da largura de banda que o seu ISP lhe deu acesso a local diferente usando a Internet (significa que a velocidade do servidor ou o intervalo de local diferente afetará a velocidade do DL). Porém, alguns softwares como Web Browser, Download Manager e outros programas que afetam seu acesso à Internet também têm efeito, mas o efeito é menor do que o esperado. 1
O que afeta a velocidade? Cada página da web que você visualiza ou arquiva baixada da Internet é tratada por dezenas de computadores antes de aparecer na tela. E a velocidade que você recebe da Internet é determinada pelo "link" mais lento da cadeia de dados que leva ao seu computador. Abaixo, estão alguns fatores que podem afetar a velocidade da sua conexão de banda larga.
O servidor host A causa mais comum de velocidade lenta na Internet é o servidor host. Este servidor pode estar com falta de configuração ou com pouca energia para o número de pessoas que o usam ao mesmo tempo. Um servidor lento pode afetar tudo o que você faz na Internet.
Detecção de anúncios ou spyware Se o seu computador estiver infectado com "detecção de anúncio" ou "spyware", você provavelmente verá um desempenho reduzido do computador e um fluxo constante de anúncios pop-up. Isso provavelmente fará com que tudo no seu computador funcione mais devagar.
Navegador da Web Um navegador da Web corrompido ou mal configurado é um dos gargalos mais comuns para uma navegação rápida na Web.
O software de instalação da configuração TCP / IP fornecido por provedores de Internet dial-up e empresas de satélite pode alterar as configurações padrão de TCP / IP em seu computador, na tentativa de fornecer melhor desempenho. Essas alterações geralmente causam pior desempenho nos serviços de Internet de alta velocidade e devem ser desinstaladas.
Ter um bom conhecimento de DNS e como alterar suas configurações, pode acelerar sua conexão.
O hardware do computador A velocidade do processador, disco rígido, placa de rede, acelerador de gráficos e até a quantidade de RAM afetam a velocidade do computador para processar dados da Internet.
Seu sistema operacional Com uso extensivo, qualquer sistema operacional de computador pode ficar corrompido, ineficiente ou configurado incorretamente, o que afetará a velocidade. (Responsabilidade do Usuário)
Seu dispositivo de rede doméstica Um dispositivo de rede doméstica ou roteador roteia o tráfego entre o modem a cabo e o (s) computador (s). Roteadores que não usam os padrões Ethernet 100baseT ou software desatualizado podem diminuir a velocidade da conexão.
O sinal do seu modem Se o sinal do modem entregue ao seu modem a cabo / dsl for muito forte, muito fraco ou muito barulhento, isso pode fazer com que o seu modem fique mais lento ou pare de funcionar completamente. Quaisquer alterações na sua linha, dentro ou fora, também podem diminuir o sinal do modem.
Tipo de conexão O fator determinante mais importante para a velocidade da Internet é o tipo de conexão à Internet que você possui. Você pode adquirir o serviço de Internet em diferentes níveis de velocidade, dependendo do que o provedor oferece. Normalmente, as velocidades variam de 1,5 megabytes por segundo a 6 megabytes por segundo, que são os tempos de download e upload necessários para a Internet enviar e receber informações.
Hora do dia Para muitos tipos de Internet, como aqueles conectados por linhas telefônicas ou cabos coaxiais, a hora do dia pode ser um fator. A Internet baseada em modem e o DSL são sistemas de rede compartilhados --- o que significa que, se muitas pessoas na sua vizinhança estiverem usando a Internet, isso poderá diminuir a velocidade da conexão à Internet devido à largura de banda entupida, responsável pela transmissão de dados.
Memória do computador Mesmo que você adquira uma velocidade mais alta do serviço de Internet, você só poderá utilizar essas velocidades mais altas se o seu computador tiver os recursos. Um fator importante de velocidade no computador é a quantidade de memória - ou RAM - que ele possui. A RAM é responsável por armazenar temporariamente as instruções de um computador. Falta de RAM significa que um computador deve armazenar instruções no disco rígido, o que leva mais tempo para ser executado.
Velocidade do processador A velocidade do processador - ou a velocidade na qual o computador executa e transfere instruções - é o outro aspecto que define a velocidade do computador, bem como sua conexão com a Internet. Se você tiver uma velocidade de Internet alta, mas não uma velocidade de processador alta o suficiente, o computador não poderá executar instruções rapidamente, resultando em uma velocidade mais lenta da interação com a Internet.
Vírus Outra ameaça possível que pode diminuir a velocidade da Internet é um vírus. Se você não tiver um bom protetor de vírus instalado, os vírus podem infectar o computador, o que pode causar uma tremenda diminuição na velocidade com que todas as operações são executadas, incluindo a conexão com a Internet. 2
1 Fonte: Gendou
2 Fontes: MTC ehow