Você pode usar os dois com relativamente poucos problemas. O Twitter Bootstrap usa o jQuery 1.7.1 (até o momento em que este artigo foi escrito), e não consigo pensar em nenhum motivo para não integrar componentes adicionais da interface do usuário do Jquery em seus modelos HTML.
Eu tenho usado uma combinação de HTML5 Boilerplate e Twitter Bootstrap construído em Initializr.com. Isso combina dois modelos iniciais incríveis em um ótimo projeto inicial. Confira os detalhes em http://html5boilerplate.com/ e http://www.initializr.com/ Ou, para começar imediatamente, acesse http://www.initializr.com/ , clique no botão "Bootstrap 2" botão e clique em "Download It". Isso fornecerá todos os js e css necessários para começar.
E não se assuste com HTML5 e CSS3. O Initializr e o HTML5 Boilerplate incluem polyfills e código específico do IE que permitirá que todos os recursos funcionem no IE 6, 7 8 e 9.
O uso de LESS no Twitter Bootstrap também é opcional. Eles usam LESS para compilar todo o CSS usado pelo Bootstrap, mas se você deseja substituir ou adicionar seus próprios estilos, eles fornecem um arquivo css vazio para esse fim.
Há também um arquivo js em branco (script.js) para você adicionar código personalizado. É aqui que você adiciona seus manipuladores ou seletores para componentes adicionais do jQueryUI.