"Fisicamente baseado" não é um termo muito bem definido, por isso é difícil responder exatamente a essa pergunta.
Em geral, "fisicamente baseado" refere-se ao fato de que o algoritmo em questão é derivado de princípios baseados fisicamente. Não é fisicamente correto (porque não podemos pagar isso) e algumas aproximações geralmente precisam ser feitas, mas é bem conhecido quais são essas aproximações e, idealmente, há alguma intuição sobre o tipo de erro que ela introduz.
Isso contrasta com os modelos ad hoc, geralmente feitos por um artista que observa um efeito na vida real e tenta escrever um sombreador ou similar que, de alguma forma, imita a aparência dele. Geralmente, os modelos ad hoc são mais simples e baratos e tendem a ser as primeiras soluções para um determinado problema, mas eles não oferecem nenhuma percepção específica sobre o que realmente está acontecendo. Também é praticamente impossível dizer com que precisão esse modelo é capaz de reproduzir o efeito que ele tenta simular.
No contexto da renderização, um "renderizador baseado fisicamente" seria, portanto, simplesmente algo que renderiza uma imagem usando princípios baseados na física, que é uma classificação muito vaga. Um traçador de raios não é inerentemente fisicamente baseado, e a maioria dos traçadores de raios antigos de fato usava modelos ad hoc para iluminação e similares. Da minha experiência pessoal, "renderização fisicamente baseada" costumava se referir à solução da equação de renderização. No entanto, parece que nos últimos anos, muitos mecanismos de jogos reivindicaram esse termo, além de significar "fazemos conservação de energia" ou "não usamos mais phong".
Então, realmente, não há uma classificação rígida do que significa "renderização com base fisicamente" e o uso do traçado de raios por si só não torna um renderizador com base física. Na renderização offline, esse termo ainda é usado principalmente para se referir aos renderizadores que resolvem a equação de renderização, enquanto na renderização em tempo real, é mais provável que se refira ao uso de modelos de microfacetos ou similares. Mas é possível que o significado desse termo mude ao longo dos anos.