Teste de Kolmogorov – Smirnov vs. teste t

Estou tendo alguma dificuldade em entender a interpretação do teste KS de 2 amostras e como ele é diferente de um teste t regular entre 2 grupos.

Digamos que eu tenho homens e mulheres fazendo alguma tarefa e coleciono algumas pontuações dessa tarefa. Meu objetivo final é determinar se homens e mulheres têm desempenho diferente nessa tarefa

Então, uma coisa que eu poderia fazer é executar um teste entre os dois grupos. Outra coisa que eu poderia fazer é calcular o ECDF para homens e mulheres, plotá-los e realizar o teste KS de 2 amostras. Eu teria algo parecido com isto:

Teste KS

A hipótese nula para o teste KS é que os 2 conjuntos de distribuições de pontuação contínuas provêm da mesma população

Ao realizar o teste KS, recebo: D = 0,18888, valor-p = 0,04742

Primeiro, quero verificar se minha interpretação dos resultados está correta. Aqui, eu rejeitaria a hipótese nula e diria que as distribuições de pontuação masculina e feminina vêm de diferentes populações. Ou, em outras palavras, a distribuição dos escores masculino e feminino são diferentes entre si.

Mais especificamente, os homens tendem a ter uma probabilidade mais alta de obter pontuações mais baixas nessa tarefa, e essa é a diferença entre os dois sexos, conforme interpreto na trama.

Teste T

Agora, no teste, testará a diferença entre as médias masculina e feminina na variável de pontuação.

Vamos imaginar o caso em que o desempenho masculino é pior do que o feminino nesta tarefa. Nesse caso, a distribuição dos escores masculinos será centrada em torno de uma média baixa, enquanto a distribuição dos escores femininos será centrada em torno de uma média alta. Esse cenário estaria alinhado com o gráfico acima, pois os homens terão uma maior probabilidade de alcançar pontuações mais baixas

Se o teste t for significativo, eu concluiria que as fêmeas pontuam, em média, significativamente mais altas que os homens. Ou, em termos populacionais, as pontuações femininas são obtidas de uma população cuja média é maior que a população masculina, o que soa muito semelhante à conclusão do KS de que elas provêm de diferentes populações.

Qual é a diferença?

Portanto, a conclusão que eu tiraria nos casos de teste KS e t é a mesma. Os machos têm um desempenho ruim em relação às fêmeas. Então, qual é o benefício de usar um teste em detrimento do outro? Existe algum conhecimento novo que você possa obter usando o teste KS?

A meu ver, homens com uma distribuição centrada em torno de uma média baixa e mulheres centradas em uma média alta é o que causa o teste t significativo. Mas, exatamente por esse mesmo fato , os homens terão uma maior probabilidade de obter valores mais baixos, o que faria com que o gráfico parecesse acima e faça um teste KS significativo. Portanto, os resultados de ambos os testes têm a mesma causa subjacente, mas talvez alguém possa argumentar que um teste KS leva em consideração mais do que apenas os meios das distribuições e também considera a forma da distribuição, mas é possível analisar a causa do teste KS significativo apenas dos resultados do teste?

Então, qual é o valor de executar um teste KS no teste? E vamos supor que eu possa atender às suposições do teste t para esta pergunta

— Simon
fonte

Clássico t-teste é de grande inferior à análise de dados Bayesiana, veja John Kruschke de "Bayesian Estimativa substitui o t test" indiana.edu/~kruschke/BEST/BEST.pdf

— Vladislavs Dovgalecs

Não tenho certeza de como o teste KS se relaciona com os métodos bayesianos ...?

— Simon

Basta parar de usar o KS e o teste t

— Vladislavs Dovgalecs

@xeon Se você vai fazer declarações tão fortes, é melhor apoiá-las. Seu conselho seria inútil em captar o tipo de diferença no exemplo da minha resposta. Por que alguém deveria abandonar uma abordagem que claramente trabalha para identificar essa diferença nas distribuições em favor de uma que não o faz?

— Glen_b -Reinstala Monica

@Glen_b É por isso que a escreveu um comentário, não uma resposta. Pode ser que o OP não leu o artigo que é ótimo; Eu apenas queria sugerir isso. Mas concordo que fiz uma declaração muito forte e me comportei um pouco esnobe. Peço desculpas por ser um pouco rude. Não vai mais acontecer.

— precisa saber é o seguinte

Como um exemplo de por que você desejaria usar o teste de Kolmogorov-Smirnov de duas amostras:

Imagine que os meios da população eram semelhantes, mas as variações eram muito diferentes. O teste de Kolmogorov-Smirnov pode detectar essa diferença, mas o teste t não.

Ou imagine que as distribuições tenham meios e sd semelhantes, mas os machos têm uma distribuição bimodal (vermelha), enquanto as fêmeas (azuis) não:

Homens e mulheres têm desempenho diferente? Sim - os machos tendem a pontuar em torno de 7,5-8 ou 12,5-13, enquanto as fêmeas tendem a pontuar mais frequentemente no meio (perto de 10 ou mais), mas são muito menos agrupadas quanto a esse valor do que os dois valores que os machos tendem a marcar perto de.

Portanto, o Kolmogorov-Smirnov pode encontrar tipos de diferença de distribuição muito mais gerais do que o teste t.

— Glen_b -Reinstate Monica
fonte

Ah, faz sentido. Posso estender essa lógica e dizer que, se um teste t for significativo, o teste KS provavelmente também será significativo; no entanto, pode ser devido à diferença média e / ou qualquer outra diferença na distribuição, fazendo assim a interpretação do KS teste difícil? Então, um teste KS é realmente útil apenas no caso de não haver diferença média entre dois grupos?

— Simon

O teste t é mais sensível às diferenças na média (principalmente se as distribuições das populações estiverem próximas do normal com desvio padrão semelhante). O teste KS pode ser mais difícil de interpretar, mas eu não concordo com sua última frase. Você pode ter uma pequena diferença nos meios que são acompanhados por outras diferenças; o teste t possui apenas a diferença de meios para informá-lo, enquanto o teste KS pode ser informado por outros tipos de diferenças. Imagine o exemplo acima, mas também onde há uma pequena mudança nos meios; o teste t pode não captar a diferença tão facilmente quanto o teste KS.

— Glen_b -Reinstala Monica

@Glen_b: é correto dizer que KS testa se as distribuições são iguais, enquanto o teste t testa se as distribuições têm a mesma média?

@fcop Sim e não; dadas as suposições e sob o nulo, o teste t de variância igual comum também está testando a identidade das distribuições - é a generalidade da alternativa (combinada com as suposições) que realmente as torna diferentes. É claro que podemos (e geralmente o fazemos) usar os testes quando suas suposições não se aplicam muito e, em seguida, estamos mais olhando para o comportamento deles sob o nulo e alternativo; o teste t tenderá a ser sensível a uma mudança de média sob a alternativa, enquanto o KS é um pouco sensível a uma classe muito ampla de alternativas.

— Glen_b -Reinstala Monica