Quais critérios devem ser atendidos para concluir que um 'efeito teto' está ocorrendo?

De acordo com a enciclopédia SAGE de métodos de pesquisa em ciências sociais …

[a] o efeito teto ocorre quando uma medida possui um limite superior distinto para possíveis respostas e uma grande concentração de participantes pontua nesse limite ou próximo a ele. A atenuação da escala é um problema metodológico que ocorre sempre que a variação é restrita dessa maneira. … Por exemplo, um efeito teto pode ocorrer com uma medida de atitudes nas quais uma pontuação alta indica uma atitude favorável e a resposta mais alta falha em capturar a avaliação mais positiva possível. … A melhor solução para o problema dos efeitos do teto é o teste piloto, que permite a identificação precoce do problema . Se um efeito de teto for encontrado , [e] a medida do resultado for o desempenho da tarefa, a tarefa poderá ficar mais difícil de aumentar o intervalo de possíveis respostas. ¹ [enfase adicionada]

Parece haver lotes de aconselhamento e perguntas ( e aqui ) que tratam de análise de dados que mostram efeitos de teto semelhante ao descrito na citação acima.

Minha pergunta pode ser simples ou ingênua, mas como alguém realmente detecta que um efeito de teto está presente nos dados? Mais especificamente, digamos que um teste psicométrico seja criado e suspeito de levar a um efeito de teto (apenas exame visual) e, em seguida, o teste é revisado para produzir uma faixa maior de valores. Como é possível demonstrar que o teste revisado removeu o efeito de teto dos dados que gera? Existe um teste que mostra que há um efeito de teto no conjunto de dados a, mas nenhum efeito de teto no conjunto de dados b ?

Minha abordagem ingênua seria apenas examinar a inclinação da distribuição e, se não estiver distorcida, concluir que não há efeito de teto. Isso é excessivamente simplista?

Editar

Para adicionar um exemplo mais concreto, digamos que desenvolvo um instrumento que mede algumas características latentes x que aumentam com a idade, mas eventualmente se nivelam e começam a declinar na velhice. Faço a primeira versão, que tem um intervalo de 1 a 14, pilotos, e acho que parece haver um efeito de teto (um grande número de respostas entre 14 e quase 14, o máximo. Concluo isso apenas por olhando para os dados, mas por quê? Existe algum método rigoroso para apoiar essa reivindicação?

Depois, reviso a medida para ter um intervalo de 1 a 20 e coleto mais dados. Vejo que a tendência corresponde mais de perto às minhas expectativas, mas como sei que a faixa de medição é grande o suficiente. Preciso revisá-lo novamente? Visualmente, parece estar ok, mas existe uma maneira de testá-lo para confirmar minhas suspeitas?

insira a descrição da imagem aqui

Quero saber como posso detectar esse efeito de teto nos dados, em vez de apenas observá-lo. Os gráficos representam dados reais, não teóricos. Expandir o alcance do instrumento criou uma melhor disseminação de dados, mas é suficiente? Como posso testar isso?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Efeito de teto. Em Michael S. Lewis-Beck, A. Bryman e Tim Futing Liao (Eds.), A Enciclopédia SAGE de Métodos de Pesquisa em Ciências Sociais . (p. 107). Thousand Oaks, Califórnia: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— teto
fonte

Para progredir, seria necessário criar uma definição operacional de "efeito teto". Fazer isso em geral pode ser problemático: afinal, quase qualquer quantidade medida não pode exceder realisticamente algum valor, como 100% em uma pontuação de teste ou concentração química, o limite superior do que um instrumento pode ler e assim por diante, quase tão discutivelmente todos os dados estão sujeitos a algum limite superior inerente. Portanto, embora o significado pretendido de "efeito teto" seja intuitivamente claro em seus bons exemplos, você pode nos ajudar esclarecendo exatamente o que precisa ser "removido" dos seus dados e por quê.

— whuber

@whuber, você está certo de que o termo é usado de várias maneiras diferentes, mas, neste caso, estou falando em fazer uma régua por tempo suficiente para exceder todas as coisas que quero medir. Ao criar testes, você certamente deseja incluir itens suficientes de uma série de dificuldades para que ninguém obtenha 100%; caso contrário, você não saberá se a capacidade dessa pessoa é realmente o limite do teste ou superior. Nada precisa ser removido dos dados, mas o instrumento precisa ser revisado até não gerar pontos de dados censurados.

— teto de

Obrigado. Ainda não sei ao certo o que você quer dizer com "efeito teto", porque nenhuma das suas ilustrações mostra evidências evidentes de qualquer tipo de censura - pelo menos não com limites fixos de censura do tipo alcançado com um teste. De fato, a mudança do painel esquerdo para o direito parece mais uma reexpressão não-linear individual do eixo vertical, o que não afetaria nenhum teto nos dados. Isso me faz pensar se você está realmente preocupado com algo completamente diferente, como a assimetria dos resíduos de regressão.

— whuber

O jitter @whuber foi adicionado, pois a maioria dos pontos se sobrepõe. Se os gráficos não parecem estar relacionados à minha pergunta, então obviamente não tenho idéia do que estou falando. Para mim, parece que há um efeito de teto, conforme descrito por Hessling, Traxel e Schmidt, mas com base nos seus comentários e na total falta de interesse nessa questão, talvez eu esteja vendo um problema onde não há. Obrigado por suas sugestões e idéias. Eu agradeço.

— teto

@ John vejo. No espírito de sua pergunta, me ocorre que uma pequena modificação de sua ideia pode ser boa. A menos que tenhamos razões para supor que os resíduos devam ser normalmente distribuídos, podemos procurar encontrar uma transformação monótona da resposta na qual as distribuições residuais são homocedásticas onde a resposta é baixa e possivelmente se tornam truncadas quando a resposta é alta. Em outras palavras, talvez o teste não deva ser normal, mas deve procurar uma forma e escala consistentes para a resposta.

— whuber

Respostas:

Primeiramente, gostaria de dizer que os dois gráficos fornecem evidências claras de que existe um efeito de teto. Como eu tentaria medir esse efeito, e não apenas visualmente, seria observar que, enquanto uma parte não trivial das observações estiver próxima ao limite superior do alcance do instrumento. Normalmente, um efeito teto sempre existirá, desde que haja uma parte não trivial dos participantes do teste que atinjam a pontuação máxima no teste.

No entanto, dito isso, a tecnologia de análise de teste progrediu bastante, pois precisávamos interpretar diretamente as pontuações em um instrumento com base na pontuação correta. Agora, podemos usar a Teoria da resposta ao item para estimar os parâmetros do item de itens individuais e usá-los para identificar a capacidade do sujeito. É claro que ainda pode haver efeitos no teto de um teste se facilitarmos o teste. No entanto, devido aos poderes da teoria de resposta a itens, devemos ser capazes de colocar pelo menos alguns itens com dificuldade suficientemente alta no instrumento para impedir apenas uma parcela trivial da população de atingir o teto.

Obrigado pela pergunta. É muito interessante!

— Francis Smart
fonte

Eu acho que uma maneira áspera e pronta seria apenas medir a variação à medida que a escala aumenta. Se isso mostra uma redução, isso é evidência de um efeito teto e, se não, não há efeito teto. Você pode fazer um gráfico de homogeneidade de variação. O teste de Levene pode ser útil para determinar se a variância é sig diferente em diferentes pontos da escala.

— user45114
fonte

obrigado pela ideia. Vou tentar, mas espero que a variação diminua naturalmente com a idade neste caso.

— teto

Teto, essa resposta e seu comentário parecem confundir dois conceitos distintos. A variação da escala refletiria a dispersão de medidas independentes repetidas de um sujeito; supõe-se que não dependa do assunto, mas possivelmente varie com a resposta média do sujeito. A variação à qual você e esta resposta se referem é a variação dos resíduos da regressão. Embora estejam relacionados, não são a mesma coisa.

— whuber

@ whuber obrigado por apontar isso. a propósito, você ainda não vê nenhuma evidência de um efeito de teto com o gráfico e as informações da atualização? Estou surpreso que essa pergunta tenha atraído quase nenhum interesse, dadas as várias perguntas e respostas sobre a análise de dados com efeitos de teto presentes.

— teto

Oi. Enquanto você estiver traçando a variação entre os sujeitos à medida que a escala aumenta, e não dentro dos sujeitos, isso não lhe dirá algo sobre os efeitos do teto? - você ainda pode usar o teste de Levene para testar mudanças significativas na variação à medida que a escala aumenta? ou isso é projetado apenas para testar alterações de variação de assunto? Devemos usar um termo diferente para descrever a variação das pontuações de diferentes pessoas à medida que a escala aumenta, exceto "variação de escala", como "Variação de resíduos"? Teste de Levene pode ser usado para mostrar que "variância dos resíduos" é uniforme em toda a escala

— user45114

O problema crítico para decidir se um agrupamento em torno do ponto mais alto ou mais baixo é devido a um efeito teto / piso é se os valores dos casos realmente "representam" o valor. Quando ocorrem efeitos de teto / piso, alguns dos casos, apesar de assumirem o valor máximo ou mínimo, são realmente mais altos / mais baixos que o valor máximo ou mínimo (imagine que um adulto e uma criança terminem um teste de matemática extremamente simples que pretendia medir capacidade matemática de cada um, e ambos obtiveram 100%). Aqui, os dados são censurados.

Outro cenário também é possível quando usamos escalas limitadas, como uma escala do tipo Likert, que possui limites superiores e inferiores inerentes. É perfeitamente possível que aqueles que pontuaram mais alto valham essa pontuação e não existam diferenças (como o exemplo de matemática acima) entre todos os que pontuaram mais alto. Nesse caso, os dados são truncados nos limites, não censurados.

Com base no raciocínio acima, considero que se deve planejar um procedimento para ajustar qualquer conjunto de dados com truncamento e censura de dados. Se o modelo de censura melhor se ajustou aos dados, acho que podemos concluir que um efeito teto / piso está presente.

— wuy3814
fonte