Em pesquisas científicas reais, é muito raro ter dados provenientes de amostragem aleatória verdadeira. Os dados são quase sempre amostras de conveniência. Isso afeta principalmente a qual população você pode generalizar. Dito isto, mesmo que fossem uma amostra de conveniência, eles vieram de algum lugar, você só precisa ser claro sobre onde e as limitações que isso implica. Se você realmente acredita que seus dados não são representativos de nada, seu estudo não valerá a pena em nenhum nível, mas isso provavelmente não é verdade 1 . Portanto, geralmente é razoável considerar suas amostras como extraídas de algum lugar e usar esses testes padrão, pelo menos em um sentido coberto ou qualificado.
Há uma filosofia diferente de teste, no entanto, que argumenta que devemos nos afastar dessas suposições e dos testes que delas dependem. Tukey foi um defensor disso. Em vez disso, a maioria das pesquisas experimentais é considerada (internamente) válida porque as unidades de estudo (por exemplo, pacientes) foram aleatoriamente designadas para os braços. Diante disso, você pode usar testes de permutação , que na maioria das vezes assumem que a randomização foi feita corretamente. O contra-argumento para se preocupar muito com isso é que os testes de permutação normalmente mostram a mesma coisa que os testes clássicos correspondentes e têm mais trabalho a ser realizado. Então, novamente, testes padrão podem ser aceitáveis.
1. Para mais informações, talvez seja útil ler minha resposta aqui: Identificando a população e as amostras em um estudo .