Após a fase de treinamento, é melhor executar redes neurais em uma GPU ou CPU?

Meu entendimento é que as GPUs são mais eficientes para executar redes neurais, mas alguém recentemente me sugeriu que as GPUs são necessárias apenas para a fase de treinamento. Depois de treinado, é realmente mais eficiente executá-los em CPUs.

Isso é verdade?

Isso depende de muitos fatores, como a arquitetura da rede neural (CNNs tendem a ser melhor otimizados que a RNN na GPU), bem como quantas amostras de teste você fornece como entrada para a rede neural (as GPUs podem ser ainda mais rápidas quando recebem um lote de amostras em vez de uma única amostra).

Como exemplo, aqui está uma referência comparando CPU com GPU em diferentes arquiteturas baseadas em CNN . A passagem para frente é muito mais lenta em uma CPU nesse caso:

FYI: Benchmarks baseados em bibliotecas de redes neurais para comparar o desempenho entre diferentes GPUs