Eu teria postado isso como um comentário se tivesse reputação suficiente para isso.
Como Peter Bennett aponta, para capacitâncias <1 µF a cerâmica geralmente é boa, enquanto a eletrolítica é boa para o resto. No entanto, devido à maior indutância de grandes capacitores eletrolíticos, eles geralmente se comportam de maneira não ideal para sinais de alta frequência. Para contornar esse problema, pode-se usar um capacitor eletrolítico em paralelo com um capacitor de cerâmica. Então o capacitor eletrolítico fornecerá um bom comportamento para a parte de baixa frequência do sinal e o capacitor cerâmico fornecerá um bom comportamento para a parte de alta frequência do sinal.
Exemplo: Você precisa de uma capacitância de 100 µF. Então, eu usaria um capacitor eletrolítico de 100 µF em paralelo com um capacitor de cerâmica de 1 µF. (Isso forneceria uma capacitância total de 101 µF, mas os capacitores são geralmente muito menos precisos do que 1% do valor especificado).
Além disso, minhas respostas (e de Peter Bennets) são válidas apenas quando você não possui requisitos específicos devido ao aplicativo com o qual está trabalhando (como user19579 aponta nos comentários de sua pergunta).