Essa será uma resposta não técnica.
Você está certo: PCA é essencialmente uma rotação dos eixos de coordenadas, escolhida de modo que cada eixo bem-sucedido capture a maior variação possível.
Em algumas disciplinas (como, por exemplo, psicologia), as pessoas gostam de aplicar a PCA para interpretar os eixos resultantes. Ou seja, eles querem poder dizer que o eixo principal nº 1 (que é uma certa combinação linear de variáveis originais) tem algum significado particular. Para adivinhar esse significado, eles examinariam os pesos na combinação linear. No entanto, esses pesos geralmente são confusos e nenhum significado claro pode ser discernido.
Nesses casos, às vezes as pessoas optam por mexer um pouco com a solução vanilla PCA. Eles pegam certo número de eixos principais (que são considerados "significativos" por algum critério) e os rodam adicionalmente , tentando obter alguma "estrutura simples" - isto é, combinações lineares que seriam mais fáceis de interpretar. Existem algoritmos específicos que procuram a estrutura mais simples possível; um deles é chamado varimax. Após a rotação varimax, os componentes sucessivos não capturam mais a maior variação possível! Esse recurso do PCA é interrompido executando a rotação varimax adicional (ou qualquer outra).
Portanto, antes de aplicar a rotação varimax, você tem componentes principais "não rotacionados". E depois, você obtém componentes principais "rotacionados". Em outras palavras, essa terminologia refere-se ao pós-processamento dos resultados do PCA e não à própria rotação do PCA.
Tudo isso é um pouco complicado pelo fato de que o que é rotacionado são cargas e não eixos principais como tais. No entanto, para os detalhes matemáticos , indico você (e qualquer leitor interessado) à minha longa resposta aqui: O PCA é seguido por uma rotação (como o varimax) ainda é PCA?