Provocando priores… com dinheiro!

Suponha que eu tenho 'especialistas', de quem eu gostaria de obter uma distribuição prévia em alguma variável . Eu gostaria de motivá-los com dinheiro real . A idéia é obter os anteriores, observar realizações da variável aleatória e dividir uma 'bolsa' predeterminada entre os especialistas, com base em quão bem os anteriores correspondem à evidência. Quais são os métodos sugeridos para esta última parte, mapeando os antecedentes e as evidências para um vetor de pagamento? $k$ $X$ $n$ $X$

bayesian prior

— shabbychef
fonte

Como provavelmente não existe uma resposta certa, podemos querer responder a essa pergunta. Deixo isso a critério do moderador.

— Shabbychef

Pode haver uma boa resposta objetivamente válida para essa pergunta, por isso hesito em transformá-la em CW.

— whuber

Isso é semelhante à idéia dos mercados de previsão . O PredictionBook é um lugar decente para procurar.

— Ely

Respostas:

No espírito do meu comentário acima, acho que a coisa certa a considerar é um mercado de previsões . Você deve vender títulos com algum pagamento fixo para a precisão das previsões. Você pode usar medidas padrão de distância probabilística, como as mencionadas por Daniel Johnson em sua resposta. Mas o objetivo é fixar os pagamentos na forma de valores mobiliários e fixar padrões de medida antecipadamente (de preferência, use apenas eventos binários, como aconteceu ou não). Dessa forma, se alguém estiver disposto a pagar X por um título que paga US $ 1,00 se o evento que ele cobre realmente acontecer, você sabe que eles atribuem a probabilidade X ao evento que o título cobre. A liquidez do mercado cuidará de como os títulos são distribuídos entre os especialistas. $A$ $\$$

Eu acho que isso é superior a ter um vetor de pagamento fixo, como você pode ter para um torneio de golfe. O motivo é que, em um torneio de golfe, tudo o que importa é quão bem você se sai contra os concorrentes, e não sua pontuação geral. Quando você deseja incentivar as crenças anteriores mais precisas possíveis, não quer que as pessoas pensem que elas só precisam se superar para receber o prêmio ... você quer que elas estejam dispostas a apostar seu próprio dinheiro para receber pagamentos, porque então eles mesmos devem acreditar em sua avaliação prévia, não apenas que sua avaliação prévia seja melhor que a de outra pessoa.

— ely
fonte

Também vale a pena observar que os efeitos da manipulação de mercado foram estudados experimentalmente nos mercados de previsão (veja aqui e aqui ) e, embora seja necessário mais trabalho, parece que os participantes podem compensar facilmente manipuladores mal-intencionados. Os resultados empíricos sugerem que seria extremamente difícil 'jogo' do sistema, como você mencionou em seu outro comentário

— Ely

A palavra-chave a procurar é regras de pontuação : estas são funções para avaliar e recompensar previsões probabilísticas, e houve bastante trabalho sobre o assunto, desde os anos 50. A principal coisa que você precisa verificar é se é adequado , ou seja, que o especialista de quem você está chamando o prior tenha o incentivo para ser honesto.

Existem várias regras de pontuação apropriadas: uma das mais simples é a regra de pontuação logarítmica: você recompensa o especialista com uma (função linear da) probabilidade de log que eles atribuíram ao evento.

— Simon Byrne
fonte

Obrigado! Eu estava me inclinando para algo assim. Em particular, eu queria que fosse difícil manipular o sistema por um agente sem qualquer informação.

— Shabbychef

Verifique o comentário que adicionei à minha resposta acima ( link ), porque há algumas pesquisas promissoras sobre como os mercados de previsão são especificamente robustos contra manipuladores e outros que tentam "enganar" o sistema. Isso é genuinamente superior às regras de pontuação simples que oferecem pagamentos apenas para obter melhor precisão do que os pares.

— Ely

@EMS: O que torna os mercados de previsão superiores? O ponto principal de uma regra de pontuação é que a pontuação É independente dos competidores (embora, na verdade, eles não sejam implementados dessa maneira na prática: ou seja, todo o dinheiro é dado à pessoa com a pontuação mais alta)

— Simon Byrne

Se a distribuição verdadeira for conhecida por quem paga o dinheiro, uma estatística natural a ser observada seria a entropia relativa da distribuição anterior e verdadeira fornecida. Então o pagamento poderia ser apenas uma função decrescente monótona da entropia relativa.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

$X$ $n$

— Daniel Johnson
fonte

Certamente, porém, os especialistas levariam todas essas coisas em consideração antes de fornecer o "anterior" a você.

— Ely

n

$n$

n

$n$

$

$\$$

O que é interessante é que quantidades físicas erradas, como estimar distâncias ou o número de M&Ms em uma jarra, os seres humanos são estimadores imparciais: calcule a média de um grande número de suposições e geralmente é muito próximo. Mas quantidades não-físicas erradas, como o preço do gás no próximo mês, os seres humanos (até mesmo os especialistas) são terríveis , mesmo em média. A literatura sobre planejamento de falácia é assustadora, especialmente os exemplos de planejadores profissionais urbanos que avaliam de maneira consistente os custos de projetos municipais, bem como o modo como os estudantes de graduação em estatística se saem mal com o viés de falácia em conjunto.

— Ely

A principal que eu conheço de antemão foi algumas coisas discutidas em um livro antigo sobre visão, "A Abordagem Ecológica da Percepção Visual", de James Gibson. Ele mencionou alguns experimentos em que as pessoas estimam distâncias em um campo de futebol entre duas pessoas distantes, e outras coisas semelhantes. Não me lembro de onde ouvi a coisa da M&M, mas vou tentar encontrar algumas fontes nela.

— Ely