Para mim, o desempenho é o verdadeiro negócio para o Firefox hoje em dia. Em comparação com o Chrome, é muito lento *, por isso não acho que as suas experiências sejam únicas ou insinuem que algo está errado com a sua instalação.
Talvez uma atualização da base de código para a versão 4.0 possa ajudar, até lá eu, como você, mantenho o Chrome em 99% das tarefas e mudo para o Firefox para Firebug.
* E não apenas nos benchmarks de Javascript, os fornecedores parecem tão interessados em empurrar nossas gargantas, e estou quase certo de que os usuários não puderam notar a diferença. Não, estou falando de tempo de inicialização, novo tempo de tabulação, tempo de carregamento da extensão, o fato de que o Chrome nunca espera que você espere enquanto ele se atualiza ou se reinicia, etc. Todo esse tempo de inatividade é parte do que torna o Firefox 'lento' e desagradável.