Como descarregar um módulo do kernel que está em uso?

Estou seguindo este tutorial para fazer meu leitor de cartões funcionar: http://ubuntuforums.org/showthread.php?t=636867

No entanto, não consigo descarregar meu módulo sdhci:

sudo modprobe -rv sdhci mmc_core mmc_block
modprobe: FATAL: Module sdhci is in use.

Como devo proceder?

Primeiro, descubra quais outros módulos usam o módulo sdhci:

lsmod | grep sdhci

Você receberá uma lista como esta:

module size used_by

Tente descarregar estes módulos (used_by) antes ou junto com o módulo que você deseja descarregar:

sudo modprobe -r <module found from lsmod> <module you want to remove>

Se você deseja impedir que o módulo seja carregado na próxima inicialização, adicione-o à lista negra:

echo -e "sdhci\n" | sudo tee -a /etc/modprobe.d/blacklist.conf