Em resumo, sim, eles são seguros, devido à criptografia de chave pública usada para assinar os arquivos.
Todos os arquivos baixados pelo APT possuem uma assinatura que permite que o arquivo baixado seja verificado nas chaves públicas armazenadas no seu computador como sendo assinadas pelo Ubuntu e somente pelo Ubuntu. Isso verifica se o arquivo que você recebeu foi autorizado pelo Ubuntu em algum momento e não foi modificado ou violado desde então.
Uma explicação técnica de como isso funciona está disponível no Ubuntu (e no Debian que usa o mesmo sistema).
Devido ao uso de HTTP em vez de HTTPS, sim, os bisbilhoteiros podem ver quais arquivos você está baixando, mas a privacidade provavelmente não é sua preocupação neste caso. Uma tentativa man-in-the-middle de modificar os pacotes para injetar código nocivo ainda falharia, porque isso quebraria o mecanismo de assinatura.
Um possível problema nesse mecanismo de assinatura é que ele não garante que você esteja obtendo a versão mais atualizada do pacote (de fato, às vezes, os espelhos demoram a atualizar). Para ajudar a atenuar esse problema, o arquivo de versão assinado inclui uma data "Válido até", após a qual todos os arquivos que ele referencia devem ser considerados obsoletos. Seria plausível que um técnico intermediário substituísse um arquivo morto por uma versão anterior não modificada do arquivo dentro desta data Válida até e faça com que o seu APT acredite que não há atualizações. Mas eles não podem fazer modificações arbitrárias nos pacotes nem voltar no tempo após um certo ponto.
Os mecanismos de assinatura fornecem segurança muito melhor que o HTTPS nesse tipo de ambiente distribuído, onde os arquivos são espelhados em muitos servidores não controlados pelo Ubuntu. Em essência, você só precisa confiar no Ubuntu, não no espelho, então você precisa provar que os arquivos originalmente vieram do Ubuntu e não foram modificados desde então - não há necessidade de verificar a identidade do espelho.
Observe que quando você adiciona um repositório não oficial à sua lista de fontes, como um PPA, receberá arquivos que não são assinados pelo Ubuntu. O APT deve avisá-lo sobre isso, porque eles não foram assinados por um certificado correspondente a nenhuma das chaves públicas instaladas no seu computador, conforme autorizado pelo Ubuntu.