Funções que não são eficientemente computáveis, mas que podem ser aprendidas

Sabemos que (ver, por exemplo, Teoremas 1 e 3 de [1]), grosso modo, sob condições adequadas, funções que podem ser computadas eficientemente pela máquina de Turing em tempo polinomial ("computável eficientemente") podem ser expressas por redes neurais polinomiais com tamanhos razoáveis ​​e, portanto, pode ser aprendido com a complexidade da amostra polinomial ("aprendível") em qualquer distribuição de entrada.

Aqui, "aprendível" refere-se apenas à complexidade da amostra, independentemente da complexidade computacional.

Estou me perguntando sobre um problema muito próximo: existe uma função que não pode ser computada eficientemente pela máquina de Turing em tempo polinomial ("não computável com eficiência"), mas, enquanto isso, pode ser aprendida com a complexidade da amostra polinomial ("aprendível") sob alguma distribuição de entrada?

• [1] Roi Livni, Shai Shalev-Shwartz, Ohad Shamir, " Sobre a eficiência computacional do treinamento de redes neurais ", 2014

Formalizarei uma variante desta questão em que "eficiência" é substituída por "computabilidade".

Seja $C_n$ a classe conceitual de todos os idiomas $L\subseteq\Sigma^*$ reconhecíveis pelas máquinas de Turing em $n$ estados ou menos. Em geral, para $x\in\Sigma^*$ e $f\in C_n$ , o problema da avaliação $f(x)$ é indecidible.

No entanto, suponha que tenhamos acesso a um oráculo $A$ (apropriado, realizável) de aprendizado do PAC A para $C_n$ . Ou seja, para qualquer $\epsilon,\delta>0$ , o oráculo solicita uma amostra rotulada de tamanho $m_0(n,\epsilon,\delta)$ modo que, assumindo que tal amostra foi extraída de uma distribuição desconhecida $D$ , o oráculo $A$ gera uma hipótese f ∈ C n , que, com uma probabilidade de, pelo menos, 1 - δ , tem D$\hat f\in C_n$$1-\delta$$D$erro de generalização não superior a $\epsilon$ . Mostraremos que esse oráculo não é computável por Turing.

Na verdade, iremos mostrar que um problema mais simples é indecidible: Uma de determinação, dado uma amostra marcada $S$ , se existe uma $f\in C_n$ consistente com $S$ . Suponha (para obter uma contradição) que $K$ é uma máquina de Turing que decide o problema de consistência.

Fazemos as seguintes convenções notacionais. Identificar $\Sigma^*$ com $\mathbb{N}=\{0,1,2,\ldots\}$ através da ordenação lexicográfica de costume. Para $x\in\{0,1\}^*$ , dizemos que uma TM $M$ "S-imprime" $x$ se ele aceita todas as cadeias em $\Sigma^*$ correspondente aos índices $i$ st $x_i=1$ e não aceita (possivelmente por não interrompendo) qualquer uma das strings correspondentes aos índices $x_i=0$ . Uma vez que (por hipótese)$K$ é determinável, segue-se que a função$\tilde K:x\mapsto k$ , definido como sendo a menor$k$ tal que alguns TM em$C_k$ S-imprime$x$ , é Turing-calculável. Segue-se ainda que a função $g:k\mapsto x$ , que mapeia um$k\in\mathbb{N}$ para a menor string (lexicograficamente)$x\in\{0,1\}^*$ tal que$\tilde K(x)>k$ , também é computável.

Agora definir o TM $M$ como se segue: $M$ S-imprime $g(|\langle M\rangle|)$ , onde $\langle M\rangle$ é a codificação de $M$ , $|x|$denota o comprimento da string e o teorema da recursão está sendo invocado para afirmar a existência de um $M$ desse tipo . Então $M$ tem algum comprimento de codificação, $\ell=|\langle M\rangle|$e S-imprime alguma sequência, $x_M\in\{0,1\}^*$. Por construção, $\tilde K(x_M)>\ell$ , e assim $x_M$ pode não ser S-impresso por qualquer TM com a descrição comprimento $\ell$ ou mais curto. E, no entanto, é definido como a saída S-print de uma TM com o comprimento da descrição $\ell$ --- uma contradição.