O k-NN generaliza em um sentido muito restritivo. Simplesmente usa anteriores de suavidade (ou suposição de continuidade). Essa suposição implica que os padrões que estão próximos no espaço de recurso provavelmente pertencem à mesma classe. Nenhuma regularidade funcional na distribuição de padrões pode ser recuperada pelo k-NN.
Portanto, requer amostras de treinamento representativas, que podem ser extremamente grandes, especialmente em casos de espaços de características altamente dimensionais. Pior, essas amostras podem estar indisponíveis. Conseqüentemente, ele não pode aprender invariantes. Se os padrões puderem ser submetidos a algumas transformações sem alterar seus rótulos, e a amostra de treinamento não contiver padrões transformados de todas as maneiras admissíveis, o k-NN nunca reconhecerá padrões transformados que não foram apresentados durante o treinamento. Isso é verdade, por exemplo, para imagens deslocadas ou giradas, se elas não estiverem representadas de alguma forma invariável antes de executar o k-NN. O k-NN não pode sequer abstrair de recursos irrelevantes.
Outro exemplo um tanto artificial está a seguir. Imagine esse padrão pertencente a diferentes classes distribuídas periodicamente (por exemplo, de acordo com seno - se for menor que 0, os padrões pertencerão a uma classe e, se for maior, os padrões pertencerão a outra classe). O conjunto de treinamento é finito. Portanto, ele estará localizado em uma região finita. Fora desta região, o erro de reconhecimento será de 50%. Pode-se imaginar a regressão logística com funções básicas periódicas que terão um desempenho muito melhor neste caso. Outros métodos serão capazes de aprender outras regularidades na distribuição de padrões e extrapolar bem.
Portanto, se alguém suspeitar que o conjunto de dados disponível não é representativo e a invariância a algumas transformações de padrões deve ser alcançada, esse é o caso, no qual se deve ir além do k-NN.