Parece um problema motivacional - por que algumas pessoas não se importam com o projeto em que estão trabalhando? Talvez seja porque a equipe está dividida entre os 'organizadores' e os 'excluídos'.
Portanto, envolva todos, em vez de 1 ou 2 pessoas encarregadas das sessões de planejamento, você envolve todos - faça com que pessoas diferentes se encarregem de cada sessão, de preferência faça com que pessoas diferentes se encarregem durante a sessão. Gire tudo ao redor. Eu sei que isso pode parecer difícil, porque sempre há alguém que quer se preocupar e organizar todos, mas o problema é aqui.
Aqui está uma idéia: ao planejar, escolha uma pessoa aleatoriamente para cuidar de cada história. Aleatoriamente. Registre também quem foi o responsável pelo planejamento, para que, no próximo sprint, você saiba se eles fizeram um bom trabalho ao obter um bom consenso de estimativas e divisão de tarefas. Isso fará com que prestem atenção e também lhes dê um motivo para se envolver com o projeto.
Lembre-se de que o problema não é deles, é você e a maneira como as sessões de planejamento são realizadas. Portanto, quando alguém assume um plano de história, escolhe como proceder, deve haver uma maneira oficial de proceder. (ou seja, não se sente e continue a forçar sua organização por procuração)