Sensor de compressão vs. codificação esparsa

Aparentemente, existem diferentes terminologias usadas para se referir ao mesmo campo chamado "sensor de compressão", como (consulte esta página da wiki ): sensor de compressão, amostragem compressiva ou amostragem esparsa. Eu me pergunto sobre "detecção esparsa"!

No entanto, e após algumas pesquisas na Internet, o que as pessoas chamam de "codificação esparsa" parece não se referir ao campo "sensoriamento compressivo", como as outras terminologias citadas acima.

Existe realmente uma diferença entre a detecção compressiva e a codificação esparsa?

E o aprendizado de dicionário?

Alguns trabalhos de referência oferecem uma explicação:

• Uma interpretação neurológica descrita na Scholarpedia
• Tutorial de aprendizagem não-supervisionada de recursos e aprendizado profundo de Stanford

Se olharmos para a definição do termo no contexto da aprendizagem de dicionário, por exemplo, em K-SVD: um algoritmo para projetar dicionários excessivamente completos para representação esparsa , o termo é definido:

Codificação esparsa é o processo de calcular os coeficientes de representação $\mathbf x$ com base no sinal dado $\mathbf y$ e o dicionário $\mathbf D$.

Portanto, a codificação esparsa é a operação de encontrar uma representação esparsa de um determinado sinal em um determinado dicionário. Em relação ao sensor comprimido, essa me parece ser a interpretação mais relevante do termo. Como tal, a codificação esparsa está intimamente relacionada à detecção compactada, mas a detecção compactada trata especificamente de encontrar a solução mais esparsa para um conjunto sub-determinado de equações lineares que, como mostra a teoria, é a solução correta neste caso com alta probabilidade. A codificação esparsa é então mais geral, no sentido de que ela não lida necessariamente com um conjunto de equações sub-determinado.

Como você observou corretamente o sensor comprimido , a amostragem compressiva, a amostragem esparsa, todos significam a mesma coisa. Alguns autores também chamam de detecção esparsa. A idéia por trás do sensor compactado é que um sinal esparso pode ser recuperado de muito poucas medições lineares. Em símbolos, se$\mathbf x$ é $N\times 1$ escasso$^\ddagger$ vetor e $\mathbf A$ é um $M\times N$ matriz com $M\ll N$e medimos $\mathbf y=\mathbf{Ax}$, então a teoria do sensor comprimido nos diz$^\dagger$ que podemos recuperar exatamente $\mathbf x$ de $\mathbf y$. Isso é notável porque diz que podemos recuperar o sinal original com menos medições.

A aprendizagem de dicionário, por outro lado, lida com um problema completamente diferente de representar um monte de vetores de dados de maneira parcimoniosa. Dado um conjunto de vetores de dados$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$, gostaríamos de encontrar outro conjunto de vetores $\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$ (chamados "átomos"), de modo que cada vetor de dados $\mathbf x_i$ pode ser representado como uma combinação linear desses $\mathbf v_j$'s. O conjunto de átomos é chamado de dicionário. O objetivo aqui é aprender um dicionário muito menor que o número de vetores de dados$^*$ ie $L < K$.

Dado um conjunto de átomos em um dicionário e um vetor $\mathbf y$, o objetivo da codificação esparsa é representar$\mathbf y$ como uma combinação linear do menor número possível de átomos.

Por fim, o aprendizado esparso de dicionário é uma combinação de aprendizado de dicionário e codificação esparsa. O objetivo aqui é duplo: encontrar uma representação parcimoniosa do conjunto de vetores de dados e garantir que cada vetor de dados possa ser gravado como uma combinação linear do menor número possível de átomos.

Sensor de compressão v / s codificação esparsa
Ambas as técnicas tratam de encontrar uma representação esparsa, mas existem diferenças sutis.

A detecção compactada lida especificamente com o problema de resolver um sistema sub-determinado de equações lineares, ou seja, menos pontos de dados que o sinal original. De um sinal esparso desconhecido$\mathbf x$ e matriz sensora $\mathbf A$, observamos o vetor de dados $\mathbf y = \mathbf{Ax}$. $\mathbf A$possui menos linhas que colunas. A teoria do sensor comprimido trata dos seguintes tipos de perguntas:

1. Sob quais condições o conjunto sub-determinado de equações lineares é solucionável e como o solucionamos de maneira robusta ao ruído e tratável computacionalmente?

2. Como projetamos matrizes sensoriais $\mathbf A$ para várias aplicações?

Por outro lado, a codificação esparsa não trata da questão de projetar $\mathbf A$. Além disso, você não está interessado em resolver um sistema sub-determinado de equações ---$\mathbf A$ é permitido ter mais linhas do que colunas.$^\%$

Referências:

Sensor de compressão [notas da aula]

Aprendizagem de dicionário

Aprendizagem de dicionário on-line para codificação esparsa

Notas de rodapé:

$^\ddagger$ Esparso significa que o vetor tem muito poucos elementos diferentes de zero.

$^\dagger$ $\mathbf A$ e $M$ precisa satisfazer algumas condições técnicas.

$^*$Diferentemente dos métodos de transformação padrão, como a transformada de Fourier, o aprendizado de dicionário é adaptável aos dados. Ao realizar uma transformação de Fourier, os vetores base$\mathbf v_j$são fixados com antecedência (exponenciais complexas). No aprendizado de dicionário, eles são aprendidos com os dados.

$^\%$ Isso é chamado de dicionário completo demais.