Aprendizado supervisionado

• 1) Um humano constrói um classificador com base na entrada e saída de dados
• 2) Esse classificador é treinado com um conjunto de dados de treinamento
• 3) Esse classificador é testado com um conjunto de dados de teste
• 4) Implantação se a saída for satisfatória

Para ser usado quando: "Eu sei como classificar esses dados, só preciso que você (o classificador) os classifique".

Ponto do método: Classificar rótulos ou produzir números reais

Aprendizagem não supervisionada

• 1) Um humano constrói um algoritmo com base nos dados de entrada
• 2) Esse algoritmo é testado com um conjunto de dados de teste (no qual o algoritmo cria o classificador)
• 3) Implantação se o classificador for satisfatório

Para ser usado quando "Não faço ideia de como classificar esses dados, você (o algoritmo) pode criar um classificador para mim?"

Ponto do método: classificar rótulos ou prever (PDF)

Aprendizagem por reforço

• 1) Um humano constrói um algoritmo com base nos dados de entrada
• 2) Esse algoritmo apresenta um estado dependente dos dados de entrada nos quais um usuário recompensa ou pune o algoritmo através da ação que o algoritmo executou, isso continua ao longo do tempo
• 3) Esse algoritmo aprende com a recompensa / punição e se atualiza, isso continua
• 4) Está sempre em produção, precisa aprender dados reais para poder apresentar ações dos estados

Para ser usado quando: "Eu não tenho idéia de como classificar esses dados, você pode classificá-los e eu darei uma recompensa se estiver correta ou punirei você se não estiver".

É esse o tipo de fluxo dessas práticas, ouço muito sobre o que elas fazem, mas as informações práticas e exemplares são terrivelmente pequenas!

Esta é uma introdução compacta muito agradável às idéias básicas!

Aprendizagem por Reforço

Acho que a descrição de seu caso de uso do aprendizado por reforço não está exatamente correta. O termo classificação não é apropriado. Uma descrição melhor seria:

Eu não sei como agir neste ambiente , você pode encontrar um bom comportamento e, enquanto isso, eu darei um feedback .

Em outras palavras, o objetivo é antes controlar algo bem, do que classificar algo bem.

Entrada

• O ambiente definido por
  • todos os estados possíveis
  • possíveis ações nos estados
• A função de recompensa dependente do estado e / ou ação

Algoritmo

• O agente
  • está em um estado
  • toma uma ação para transferir para outro estado
  • recebe uma recompensa pela ação no estado

Saída

• O agente deseja encontrar uma política ideal que maximize a recompensa

Isenção de responsabilidade: não sou especialista e nunca fiz nada com o aprendizado por reforço (ainda), portanto qualquer feedback será bem-vindo ...

Aqui está uma resposta que adiciona pequenas notas matemáticas à sua lista e alguns pensamentos diferentes sobre quando usar o quê. Espero que a enumeração seja auto-explicativa o suficiente:

Supervisionado

1. Temos dados$\mathcal{D} = \{(\boldsymbol{x}_0,y_0), (\boldsymbol{x}_1,y_1), \ldots, (\boldsymbol{x}_n,y_n)\}$
2. Procuramos um modelo que minimize alguma medida de perda / custo para todos os pontosL ( y i , g ( x i ) ) 0 ≤ i < $g$$L(y_i, g(\boldsymbol{x}_i))$$0 \leq i < l$
3. Avaliamos o modelo calculando a perda / custo para o restante dos dados ( ), a fim de ter uma idéia de quão bem o modelo generalizal ≤ i ≤ $L$$l \leq i \leq n$

Podemos dar exemplos, mas não podemos dar um algoritmo para ir da entrada à saída

Configuração para classificação e regressão

Não supervisionado

1. Temos dados$\mathcal{D} = \{\boldsymbol{x}_0, \boldsymbol{x}_1, \ldots, \boldsymbol{x}_n\}$
2. Procuramos um modelo que nos dê algumas informações sobre nossos dados.$g$
3. Temos pouca ou nenhuma medida para dizer se fizemos algo útil / interessante

Temos alguns dados, mas não temos ideia de onde começar a procurar coisas úteis / interessantes

Configuração para clustering, redução de dimensionalidade, localização de fatores ocultos, modelos generativos etc.

Reforço

1. Não temos dados
2. Construímos um modelo que gera dados (geralmente chamados de ações), que podem ser baseados em medidas e / ou ações anteriores, na tentativa de maximizar alguma medida de recompensa , que geralmente não é conhecido pelo modelo (ele também precisa ser aprendido).x i R ( x i$g$$\boldsymbol{x}_i$$R(\boldsymbol{x}_i)$
3. Nós avaliamos por meio da função de recompensa depois de algum tempo para aprender.

Não temos idéia de como fazer algo, mas podemos dizer se foi feito certo ou errado

Isso parece especialmente útil para tarefas de decisão sequenciais.

Referências:
Si, J., Barto, A., Powell, W. e Wunsch, D. (2004) Aprendizagem por reforço e sua relação com a aprendizagem supervisionada, no Manual de aprendizagem e programação dinâmica aproximada, John Wiley & Sons, Inc., Hoboken, NJ, EUA. doi: 10.1002 / 9780470544785.ch2