Como dissuadir os leigos de tirar conclusões imprecisas sobre seus dados?

Trabalho como analista de dados, principalmente em SQL, fornecendo dados operacionais para clientes internos. Eu raramente faço análises estatísticas.

Recentemente, clientes internos me procuraram com dados de projetos mal projetados (sem grupo de controle, sem metodologia planejada etc.) e me pediram para fazer uma análise de dados de seus resultados para que eles possam usá-lo para moldar suas práticas de negócios.

Os "estudos" são muito rudimentares, executados por pessoas sem conhecimento de métodos de pesquisa ou estatística, e tentando influenciar práticas comerciais importantes. Não posso fazer análises estatísticas porque não foi projetado desde o início.

Quais recursos eu poderia apontar para que eles soubessem que seus "estudos" não podem ser generalizados além da população envolvida? Que idioma eu uso para isso?

Gostaria que você tivesse fornecido mais detalhes em sua pergunta, mas vou respondê-la com todas as informações que você forneceu.

Eu acho improvável que eles voltem e leiam os "recursos" sugeridos, para que você possa ler melhor sobre eles e tentar explicá-los com exemplos. Você pode informá-los sobre como eles poderiam ter projetado o experimento em primeiro lugar, talvez com um exemplo de teste A / B (confira na wikipedia) e como é imperativo que a amostra seja representativa da população. Links: https://en.wikipedia.org/wiki/Design_of_experiments

Além disso, listar algumas possíveis armadilhas para tirar conclusões de experimentos estatisticamente incorretos deve ajudá-los a entender seu argumento. Link: http://www.ch.embnet.org/CoursEMBnet/Arrays06/files/arrays06_ExpDes2.pdf