Eles definitivamente têm classificações de tensão, que serão explicitamente declaradas nas folhas de dados (sim, os resistores têm folhas de dados!). Embora seja possível arquear os eletrodos, exceder as classificações de tensão dos resistores pode causar mais cedo a quebra do material resistivo do resistor, o que, por sua vez, pode fazer com que ele abra o circuito se você tiver sorte ou tiver azar curto através.
Normalmente, um 0603 estará na região de 35-50V, embora você possa obter classificações mais altas (por exemplo, 70V) se optar por resistores mais especializados. 0805 é tipicamente 60-70V, mas novamente eles aumentam com resistores mais especializados.
Se você estiver trabalhando diretamente em 120Vrms (ou seja, não em série), precisará de pelo menos uma tensão nominal de 180V! Por quê? porque o pico de tensão é 1.414 vezes maior que o RMS, e você deve precisar de um pouco de espaço. Para isso, você provavelmente precisará começar a procurar no mínimo 1206 (novamente, verifique as fichas técnicas), mas provavelmente tamanhos maiores para ser seguro (e poder usar resistores mais baratos / mais fáceis de encontrar).
Se o resistor estiver em série, a classificação de tensão não precisa necessariamente ser tão alta - dependerá da corrente através do resistor. No entanto, isso depende do projeto e ainda pode ser prudente especificar o resistor para a tensão total se ele estiver em algum lugar do projeto em que haja uma chance de que possa ser exposto à tensão total em alguma condição inesperada.