Tarde, mas ainda assim, acabei de lidar com o mesmo problema, e isso funcionou para mim:
RequestHeader set X_FORWARDED_PROTO 'https' env=HTTPS
A documentação diz:
Quando a diretiva RequestHeader é usada com o argumento add, append ou set, um quarto argumento pode ser usado para especificar condições sob as quais a ação será executada. Se a variável de ambiente especificada no argumento env = ... existir (ou se a variável de ambiente não existir e env =! ... for especificada), a ação especificada pela diretiva RequestHeader entrará em vigor. Caso contrário, a diretiva não terá efeito sobre a solicitação.
Enquanto a variável de ambiente HTTPS é configurada apenas quando a solicitação é feita por SSL.