Refutação baseada em entropia do paradoxo bayesiano de seta para trás do tempo de Shalizi?

No presente trabalho , o pesquisador talentoso Cosma Shalizi argumenta que aceitar plenamente uma visão subjetiva Bayesian, é preciso também aceitar um resultado não físico que a flecha do tempo (dado pelo fluxo de entropia) deve realmente ir para trás . Isto é principalmente uma tentativa de argumentar contra a máxima entropia / visão bayesiana totalmente subjetiva apresentada e popularizada por ET Jaynes .

Na LessWrong , muitos colaboradores estão muito interessados na teoria bayesiana de probabilidades e também na abordagem subjetiva bayesiana como base para teorias formais de decisão e um trampolim para uma forte IA Eliezer Yudkowsky é um colaborador comum lá e eu estava lendo recentemente este post quando eu deparei com esse comentário (vários outros bons comentários surgiram logo depois na página da postagem original).

Alguém pode comentar sobre a validade da refutação de Yudkowsky a Shalizi. Resumidamente, o argumento de Yudkowsky é que o mecanismo físico pelo qual um agente de raciocínio atualiza suas crenças exige trabalho e, portanto, tem um custo termodinâmico que Shalizi está varrendo para debaixo do tapete. Em outro comentário, Yudkowsky defende isso, dizendo:

"Se você considera a perspectiva de um observador perfeito logicamente onisciente fora do sistema, a noção de" entropia "é praticamente sem sentido, assim como a" probabilidade "- você nunca precisa usar a termodinâmica estatística para modelar qualquer coisa, apenas usa a precisão determinística equação de onda ".

Alguns probabilistas ou mecânicos estatísticos podem comentar sobre isso? Não me importo muito com argumentos da autoridade em relação ao status de Shalizi ou Yudkowsky, mas eu realmente gostaria de ver um resumo das maneiras pelas quais os três pontos de Yudkowsky oferecem críticas ao artigo de Shalizi.

Para estar em conformidade com as diretrizes da FAQ e fazer disso uma pergunta concretamente respondível , observe que estou solicitando uma resposta específica e detalhada que aceite o argumento de três etapas de Yudkowsky e indique onde, no artigo de Shalizi, essas três etapas refutam suposições e / ou derivações, ou, por outro lado, indica onde os argumentos de Yudkowsky são abordados no artigo de Shalizi.

Eu sempre ouvi o artigo de Shalizi ser apresentado como uma prova de ferro de que o bayesianismo subjetivo completo não pode ser defendido ... mas depois de ler o artigo de Shalizi algumas vezes, parece-me um argumento de brinquedo que nunca poderia ser aplicado para um observador interagindo com o que está sendo observado (isto é, com toda a física real). Mas Shalizi é um ótimo pesquisador, então eu gostaria de receber uma segunda opinião, porque é muito provável que eu não entenda partes importantes desse debate.

— ely
fonte

Shalizi gosta de ser provocativo ... seu argumento me parece essencialmente o mesmo que o argumento criacionista de que a evolução viola a segunda lei da termodinâmica porque os organismos "posteriores" são mais complexos, de maneira organizada, do que os organismos "anteriores", mas a segunda lei diz que a entropia não diminui. No entanto, 1) não há nada na segunda lei que impeça reduções locais na entropia e 2) o argumento implica que ninguém pode aprender nada sobre nada, nunca (por que o aprendizado via atualização bayesiana deve ser diferente de qualquer outro processo de aprendizado?)

— 9132 jbowman

Eu não me incomodaria com um debate entre Shalizi e Yudkowsky; nem é uma autoridade. (Shalizi escreve bem, no entanto.) De qualquer forma, você não acha que physics.se é um local melhor para essa pergunta?

— Emre

Você já leu muitas das postagens de sequência de Yudkowsky? Eu acho que ele escreve muito bem também. Ambas as figuras têm posições controversas, mas Shalizi parece realmente expor o bayesianismo subjetivo. A razão pela qual perguntei aqui é porque ela se vincula profundamente ao artigo estatístico mais puramente teórico que Shalizi escreveu com Andrew Gelman, que também está repleto de problemas filosóficos (embora Gelman seja um profissional total quando se trata de praticar). ( link )

— ely

Eu tenho tentado atribuir isso a equações, mas ainda não consigo fazer isso. Eu acho que o maior problema de Shazili é sua segunda suposição na Seção 1, a saber, que você pode apenas atualizar o ponto de fase (aleatório) usando a Regra de Bayes. Como aponta Yudkowsky, este negligencia o fato de que quando você medir novamente e atualizar a sua distribuição inicial, você tem que somar a sua contribuição para o sistema ...

X

$X$

— Néstor

... e isso ocorre de várias formas: tentar controlar seu sistema (que é único a cada vez, tornando o problema talvez essencialmente estocástico, caso em que a noção de entropia não faria sentido ... talvez devêssemos falar sobre taxa de entropia?). Eu tenho tentado me convencer de que essa contribuição pode ser modelada como uma transformação linear do vetor de ponto de fase : isso explicaria que a desigualdade que Shazili usa não é válida, porque a entropia resultante teria um termo extra (o logaritmo do determinante da transformação linear).

X

$X$

— Néstor

Respostas:

Em resumo: 1: 0 para Yudkowsky.

Cosma Shalizi considera uma distribuição de probabilidade sujeita a algumas medições. Ele atualiza as probabilidades de acordo (aqui não é importante se for a inferência bayensiana ou qualquer outra coisa).

Não surpreende nada, a entropia da distribuição de probabilidade diminui.

No entanto, ele conclui erradamente que diz algo sobre a flecha do tempo:

Essas suposições invertem a seta do tempo, ou seja, tornam a entropia não crescente.

Como foi apontado nos comentários, o que importa para a termodinâmica é a entropia de um sistema fechado . Ou seja, de acordo com a segunda lei da termodinâmica , a entropia de um sistema fechado não pode diminuir. Não diz nada sobre a entropia de um subsistema (ou sistema aberto); caso contrário, você não poderá usar sua geladeira.

E uma vez que medimos o sth (isto é, interagem e coletamos informações), não é mais um sistema fechado. Ou não podemos usar a segunda lei, ou - precisamos considerar um sistema fechado feito do sistema medido e do observador (ou seja, nós mesmos).

Em particular, quando medimos o estado exato de uma partícula (enquanto antes conhecíamos sua distribuição), na verdade abaixamos sua entropia. No entanto, para armazenar as informações, precisamos aumentar nossa entropia pelo menos na mesma quantidade (normalmente há uma sobrecarga enorme).

Então, Eliezer Yudkowsky faz um bom argumento:

1) As medições usam trabalho (ou pelo menos o apagamento na preparação para a próxima medição usa trabalho).

Na verdade, a observação sobre o trabalho não é a mais importante aqui. Enquanto a termodinâmica é sobre relacionar (ou negociar) entropia com energia, você pode se locomover (ou seja, não precisamos recorrer ao princípio de Landauer , do qual Shalizi é cético ). Para reunir algumas informações novas, você precisa apagar as informações anteriores.

Para ser consistente com a mecânica clássica (e também com o quantum), não é possível criar uma função que mapeie arbitrariamente qualquer coisa para todos os zeros (sem efeitos colaterais). Você pode criar uma função mapeando sua memória para zero , mas ao mesmo tempo despejando as informações em algum lugar, o que aumenta efetivamente a entropia do ambiente.

(O exposto acima se origina da dinâmica hamiltoniana - isto é, preservação do espaço de fase no caso clássico e unitariedade da evolução no caso quântico.)

PS: Um truque para hoje - "reduzir a entropia":

Jogue uma moeda imparcial, mas não olhe para o resultado ( bit). $H = 1$
Abra seus olhos. Agora você conhece seu estado, então sua entropia é bits. $H = 0$

— Piotr Migdal
fonte

esta versão está correta: "O artigo de Shalizi é apenas uma reformulação especializada do demônio de Maxwell"?

— Artem Kaznatcheev

@ArtemKaznatcheev Basicamente, sim. Porém, mais no sabor é fechado do que em sistemas abertos. Mas para quem não gosta de ler, há a primeira linha;).

— Piotr Migdal

Gosto desta resposta, mas estou tendo dificuldades para me reconciliar com uma discussão sobre outro tópico. Veja este link e encontre o tópico / resposta iniciado pelo usuário "pragmatista". Se você adicionar um parágrafo ou dois abordando esse argumento (ou explicando por que esse argumento é válido / discorda da sua resposta acima), ficarei feliz em aceitar.

— Ely

@EMS Bem, "Você poderia comentar uma discussão?" não é o mais adequado para o SE (e, em geral, existem muitos argumentos). Além disso, justifiquei a crítica ao artigo de Shalizi. Incluir também a crítica de uma crítica de um artigo está pedindo demais. Você poderia ser mais específico, ou seja, apontar pontos exatos? No entanto: "Quando fazemos mecânica estatística, geralmente não estamos interessados na entropia do sistema mais no observador" - falso (sistemas abertos versus fechados) " , a evolução do sistema não será unitária" - é verdade, mas mesmo classicamente você não pode diminuir a entropia total.

— Piotr Migdal

@EMS O princípio de apagamento é mais profundo que o stat. mech. - como eu disse, se não satisfaz, refuta a mecânica quântica e a clássica. E mais uma vez: você não pode aplicar regras para sistemas fechados a sistemas abertos - portanto, a maioria dos argumentos do pragmatista não é científica (isto é, no que acreditar ou não) ou ignora a física.

— Piotr Migdal

A falha de Shalizi é muito básica e deriva da suposição I, de que a evolução do tempo é invertível (reversível).

A evolução temporal dos estados INDIVIDUAIS é reversível. A evolução temporal de uma distribuição sobre TODO O ESPAÇO DE FASE certamente não é reversível, a menos que o sistema esteja em equilíbrio. O artigo trata a evolução temporal das distribuições em todo o espaço de fase, e não nos estados individuais, e, portanto, a suposição de invertibilidade é totalmente anti-física. No caso de equilíbrio, os resultados são triviais.

A flecha do tempo vem desse fato, na verdade, que a evolução das distribuições no tempo não é reversível (a razão pela qual os gradientes diminuem e os gases se espalham). Sabe-se que a irreversibilidade surge de 'termos de colisão'

Se você levar isso em consideração, o argumento dele se desfaz. Entropia da informação = entropia termodinâmica, ainda, por enquanto. : D

— Ethan
fonte

Como em um nível fundamental a QM é determinística - a equação de Schrodinger descreve precisamente como um sistema evolui ao longo do tempo e não há incerteza sobre isso - e é linear , parece que a reversibilidade na evolução de estados individuais implicaria imediatamente reversibilidade. qualquer distribuição de tais estados. Gostaria, portanto, de ver sua justificativa matemática de sua afirmação em contrário, porque ela mostrará mais claramente o que você agora está assumindo implicitamente apenas sobre as equações dinâmicas.

— whuber

Para uma distribuição de equilíbrio, as coisas são triviais, a evolução do tempo é reversível. Para um sistema dissipativo, onde o volume do espaço de fase não é constante, muitos estados da distribuição inicial podem ser mapeados para um único estado da distribuição final ou vice-versa (não mais reversível). Isso fica claro no caso de, por exemplo, expansão livre de um gás ideal. O movimento de cada partícula individual é claramente reversível, mas a expansão em si não é, pois envolve uma mudança no volume do espaço de fase. O gás nunca 'se expande'. Se você ainda não estiver feliz, eu posso calcular um pouco de matemática para você.

— Ethan

Como você está acusando Shalizi de estar errado sobre isso, oferecer algum tipo de suporte matemático objetivo seria uma boa idéia. Mas tome cuidado para não se afastar muito do foco deste site, que consiste em analisar dados, não em física! No entanto, o exemplo de expansão livre não me parece favorável, porque em um universo (hipoteticamente) compacto parece não existir tal coisa: o gás se expande para outro lugar.

— whuber

Certo, às vezes esqueço em qual pilha estou trocando. Talvez eu comece alguma coisa por lá. Mas para o gás, a alteração da entropia é TdS = dU + pdV, mas dU é zero, somos adiabáticos, então dS = pdV / T. Pela lei ideal dos gases, dS = nRdV / V, passando de v1 para v2, altera a entropia por ln (v2 / v1). Basicamente, todos os processos macroscópicos espontâneos (ou seja, reproduzíveis) são irreversíveis. Mas talvez ficando este a partir de princípios básicos não é trivial (Boltzmann passou a vida nele)

— Ethan

O artigo vinculado assume explicitamente que

O operador de evolução T é invertível.

Mas se você usar o QM da maneira convencional, essa suposição não se aplica. Suponha que você tenha um estado X1 que pode evoluir para X2 ou X3 com igual probabilidade. Você diria que o estado X1 evolui para o conjunto ponderado [1/2 X2 + 1/2 X3]. Shalizi prova que esse conjunto não tem mais entropia do que X1.

Mas nós, como observadores ou como parte desse sistema, apenas olhamos para um dos ramos, X2 ou X3. Escolher qual desses dois ramos examinamos adiciona um pouco de nova entropia, e essa seleção não é invertível. É daí que vem o aumento da entropia com o tempo. O que Shalizi fez é usar a matemática na qual toda entropia se origina na ramificação quântica e depois esquecer que a ramificação quântica acontece.

— jimrandomh
fonte

O artigo (como a segunda lei) trata de sistemas fechados. A mecânica quântica é completamente reversível em um sistema fechado (ou seja, todos os operadores são unitários). A única operação não reversível na mecânica quântica é a medição; se você medir um sistema fechado, ele não será mais fechado da perspectiva da termodinâmica. Se o seu observador estiver dentro do sistema e mede um subsistema, o observador + o subsistema evolui de forma unitária e, portanto, a operação é invertível (esse truque é informalmente chamado de "Igreja do maior Espaço Hilbert"). Portanto, seu argumento de "QM" está errado.

— Artem Kaznatcheev

Isso é apenas se você acredita na interpretação de Copenhague (ou outras que separam 'medição' dos processos unitários). Muitos mundos sustentam que a medição é apenas as leis unitárias usuais e, portanto, é perfeitamente reversível; é apenas um artefato do estado inicial do universo que é probabilisticamente improvável ver sua reversão (eu posso não estar explicando muito bem, eu não sou físico). De qualquer forma, não estou convencido de que esta resposta deva ser rebaixada devido a essas críticas.

— 1627 ely

@EMS Não importa qual interpretação você use, o controle de qualidade de um sistema fechado é reversível. Mas no contexto maior da pergunta original, os detalhes do respondente estar errado sobre QM são irrelevantes: Shalizi já aborda esse ponto na seção II.A em um sentido mais geral; mesmo uma forma correta dessa resposta não vai além da falta apontada pelo próprio Shalizi.

— Artem Kaznatcheev

Como mencionado em outro tópico discutindo isso, essa resposta parece ser apenas o outro lado da outra resposta: se você insistir no requisito do sistema fechado, deverá encontrar sua fonte de entropia (ou seja, o "sistema fechado" de Shalizi deve incluir o pessoa com um pouco de entropia para 'acontecer de avançar um ramo (desconhecido) dos dois ramos'. Isto é, parece que essa resposta também está dizendo que o artigo de Shalizi é apenas uma reafirmação do Demônio de Maxwell. Novamente, eu posso estar mal-entendido devido à falta de treinamento formal física.

— Ely