Tentei as soluções anteriores e, embora parecessem funcionar, me bloquearam do painel de administração (não entendo completamente o motivo).
Para entrar no painel de administração novamente, tive que entrar no phpmyadmin e entrar na tabela core_config_data do banco de dados e alterar os dois caminhos : web / secure / use_in_adminhtml e web / unsecure / base_url para voltar ao painel de administração. E não se esqueça de limpar a pasta de cache se precisar fazer edições no banco de dados ...
Então, apliquei a seguinte solução .htaccess, que também permite que eu faça o login no admin
# AFTER THIS SECTION
############################################
## workaround for HTTP authorization
## in CGI environment
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
# PUT THIS
############# ALL PAGES HTTPS #################
RewriteCond %{HTTPS} off
RewriteCond %{REQUEST_URI} !/admin/
RewriteCond %{REQUEST_URI} !/downloader/
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
############# ALL PAGES HTTPS #################
Espero que ajude alguém