A literatura distingue dois tipos de testes de permutações: (1) o teste de randomização é o teste de permutação em que a permutabilidade é satisfeita pela atribuição aleatória de unidades experimentais às condições; (2) o teste de permutação é exatamente o mesmo teste, mas aplicado a uma situação em que outras premissas (ou seja, que não sejam atribuição aleatória) são necessárias para justificar a permutabilidade.
Algumas referências sobre as convenções de nomenclatura (ou seja, randomização versus permutação): Kempthorne & Doerfler, Biometrika, 1969; Edgington & Onghena, Randomization Tests, 4ª Ed., 2007
Para suposições, o teste de randomização (isto é, o teste de Fisher para dados experimentais) requer apenas o que Donald Rubin se refere como a suposição de valor de tratamento unitário estável (SUTVA). Veja o comentário de Rubin em 1980 sobre o artigo de Basu na JASA. O SUTVA também é uma das premissas fundamentais (juntamente com forte ignorabilidade) para a inferência causal sob o modelo de resultados potenciais de Neyman-Rubin (cf. artigo JASA de Paul Holland, 1986). Essencialmente, o SUTVA diz que não há interferência entre as unidades e que as condições de tratamento são as mesmas para todos os receptores. Mais formalmente, o SUTVA assume independência entre os resultados potenciais e o mecanismo de atribuição.
Considere o problema de duas amostras com os participantes aleatoriamente designados para um grupo controle ou um grupo de tratamento. O SUTVA seria violado se, por exemplo, dois participantes do estudo estivessem familiarizados e o status de atribuição de um deles exercesse alguma influência no resultado do outro. É isso que significa não haver interferência entre as unidades.
A discussão acima se aplica ao teste de randomização em que os participantes foram designados aleatoriamente para grupos. No contexto de um teste de permutação, o SUTVA também é necessário, mas pode não se basear na randomização porque não houve.
Na ausência de atribuição aleatória, a validade dos testes de permutação pode depender de premissas distributivas como forma idêntica de distribuição ou distribuições simétricas (dependendo do teste) para satisfazer a permutabilidade (ver Box e Anderson, JRSSB, 1955).
Em um artigo interessante, Hayes, Psych Methods, 1996, mostra através de simulação como as taxas de erro do tipo I podem aumentar se os testes de permutação forem usados com dados não randomizados.