Bem, o texto padrão usado é Computação Quântica e Informação Quântica de Nielsen e Chuang. Abrange uma série de aspectos diferentes em um nível razoável. Quase todo mundo que trabalha no campo tem uma cópia disso na prateleira. O livro Kaye, Laflamme e Mosca também é bom, mas cobre menos (embora exista um pouco mais de foco nos algoritmos).
Embora seja perfeitamente possível explicar a computação quântica sem entrar em muita mecânica quântica, não acho que essa seja necessariamente uma boa maneira de abordar o aprendizado da computação quântica. Há muita intuição a se ganhar com a teoria física, uma vez que muitos dos modelos mais recentes de computação quântica (ou seja, modelos adiabáticos, topológicos e baseados em medidas) são mais motivados fisicamente do que a máquina quântica de Turing ou o modelo de circuito.
Dito isto, a mecânica quântica necessária para entender a computação quântica é bastante simples e é bastante bem abordada em Nielsen e Chuang. Realmente, você pode ter uma boa ideia lendo o capítulo relevante e tentando os exercícios. É o tipo de coisa com a qual você pode entender com alguns dias de trabalho. Meu conselho, no entanto, é não usar um texto de introdução padrão para a mecânica quântica. A abordagem adotada para modelar átomos, moléculas e materiais utiliza sistemas dimensionais infinitos e exige muito mais esforço para superar. Para informações quânticas, é um começo muito melhor olhar para sistemas dimensionais finitos. Além disso, tradicionalmente, os problemas estudados pelos físicos tendem a girar em torno da descoberta de estados fundamentais e comportamentos de estado estacionário, e é isso que a maioria dos textos introdutórios abordará (começando com a equação da onda de Schroedinger, independente do tempo). Para a computação quântica, tendemos a estar mais interessados na evolução temporal dos sistemas, e isso é tratado de maneira muito mais sucinta nos textos de computação quântica do que nos textos introdutórios da mecânica quântica em geral (que são, por definição, mais gerais).