Qual é a diferença entre 'transferência de aprendizagem' e 'adaptação de domínio'?

Existe alguma diferença entre 'transferência de aprendizado' e 'adaptação de domínio'?

Não conheço o contexto, mas entendo que temos um conjunto de dados 1 e o treinamos, após o qual temos outro conjunto de dados 2 para o qual queremos adaptar nosso modelo sem precisar treinar novamente do zero, para o qual 'transferir aprendizado' e 'adaptação de domínio' ajuda a resolver esse problema.

De acordo com o campo das redes neurais convolucionais:

• Por 'transferência de aprendizado', quero dizer 'ajuste fino' [1]

• Nesse caso [2], ele não é supervisionado, mas a 'adaptação do domínio' sempre deve ser não supervisionada?

Parece que há alguma discordância entre os pesquisadores sobre qual é a diferença entre 'transferência de aprendizado' e 'adaptação de domínio'.

De {0}:

A noção de adaptação de domínio está intimamente relacionada à transferência de aprendizado. O aprendizado de transferência é um termo geral que se refere a uma classe de problemas de aprendizado de máquina que envolvem diferentes tarefas ou domínios. Na literatura, ainda não existe uma definição padrão de aprendizado por transferência. Em alguns trabalhos, é intercambiável com a adaptação do domínio.

A partir de 1}:

Referências:

• {0} Li, Qi. "Pesquisa de literatura: algoritmos de adaptação de domínio para processamento de linguagem natural." Departamento de Ciência da Computação The Graduate Center, Universidade da Cidade de Nova York (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=pt_BR&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( espelho )

• {1} Pan, Sinno Jialin e Qiang Yang. "Uma pesquisa sobre transferência de aprendizado." Transações IEEE sobre conhecimento e engenharia de dados 22, no. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=pt_BR&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( espelho ) (2,6k citações)

Do artigo de Hal Daume [1]:

A configuração de classificação padrão é uma distribuição de entrada p (X) e uma distribuição de rótulo p (Y | X). Adaptação do domínio: quando p (X) muda entre treinamento e teste. Transferência de aprendizado: quando p (Y | X) muda entre treinamento e teste.

Em outras palavras, no DA a distribuição de entrada muda, mas os rótulos permanecem os mesmos; no TL, as distribuições de entrada permanecem as mesmas, mas os rótulos mudam.

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( espelho )

Em toda a literatura sobre transferência de aprendizado, há várias inconsistências terminológicas. Frases como aprendizado de transferência e adaptação de domínio são usadas para se referir a processos semelhantes. A adaptação de domínio é o processo de adaptar um ou mais domínios de origem para os meios de transferência de informações para melhorar o desempenho de um aluno alvo. O processo de adaptação do domínio tenta alterar um domínio de origem na tentativa de aproximar a distribuição da fonte da do destino. Na configuração Adaptação de Domínio, os domínios de origem e de destino têm distribuições marginais diferentes p (X). Segundo a pesquisa de Pan, Transfer Learning é um termo mais amplo que também pode incluir o caso em que há uma diferença nas distribuições condicionais p (Y | X) dos domínios de origem e de destino. Em contraste,

1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

Penso que "Transferência de Aprendizagem" é um termo mais geral e "Adaptação de Domínio" é um cenário de "Transferência de Aprendizagem".

[1] Atenção transferível para adaptação de domínio. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf

De acordo com [1], a adaptação de domínio é o aprendizado de transferência na PNL: "O aprendizado de transferência no domínio da PNL às vezes é chamado de adaptação de domínio".

[1] Pan, SJ e Q. Yang. "Uma pesquisa sobre transferência de aprendizado". IEEE Transactions on Knowledge and Data Engineering 22, no. 10 (outubro de 2010): 1345–59. https://doi.org/10.1109/TKDE.2009.191 ou https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf