Este é um assunto complicado, mas aqui está minha tentativa de destilar o que todas essas coisas são e como elas se relacionam.
AJAX: Este é um conceito que envolve a inserção de dados de forma assíncrona em um aplicativo da Web sem recarregar a página inteira. Ele permite interfaces de usuário dinâmicas, como o Google Mail, que funcionam como aplicativos de desktop, mas são executadas em um navegador.
ASP.NET AJAX: Esta é uma biblioteca de autoria da Microsoft que tenta tornar o conceito AJAX acessível aos desenvolvedores que possuem um fundo ASP.NET. Ele fornece métodos semelhantes aos métodos do .NET Framework, como String.Format e outros. Ele se sobrepõe ao JQuery, mas ambos podem ser usados em harmonia juntos, pois possuem diferentes pontos fortes e fracos. É importante lembrar que esta é uma biblioteca do lado do cliente e na verdade não depende do ASP.NET. Você pode usar o ASP.NET AJAX com qualquer tecnologia do servidor.
jQuery: Esta é uma biblioteca JavaScript que fornece uma estrutura para facilitar a gravação de aplicativos AJAX. Ele fornece um poderoso modelo de seleção usando uma sintaxe semelhante ao CSS para interagir com o DOM do navegador. Também abstrai muitas das diferenças entre os diferentes navegadores e versões. Portanto, é quase sempre melhor codificar no jQuery, em vez das APIs DOM ou AJAX específicas do navegador. Existe uma rica ecologia de plugins jQuery disponíveis, que podem adicionar todo tipo de comportamento poderoso aos seus aplicativos da Web, sem muito trabalho da sua parte.
JavaScript: é uma linguagem interpretada implementada por todos os principais navegadores que permite um comportamento dinâmico do lado do cliente nos sites. A linguagem em si é bastante sólida, mas as diferentes APIs fornecidas pelos diferentes navegadores tornam complicado escrever JavaScript "bruto" de maneira eficaz. É por isso que existem todas essas bibliotecas em cima.
Agora, quanto à questão do que você deve aprender como desenvolvedor do ASP.NET. Eu recomendaria se familiarizar com a funcionalidade do ASP.NET AJAX e do jQuery. A Microsoft apoia ambos, e ambos estão incluídos no VS 2010. Eles têm pontos fortes e fracos diferentes e, se você entender quais são, será mais eficaz em usá-los.
Você não precisa usar o AJAX para criar sites ASP.NET, mas seus sites serão mais poderosos e mais fáceis de usar. E se você desenvolver um senso de quando o AJAX é eficaz e quando não é, você será um desenvolvedor web melhor.
Ah, e fique longe do UpdatePanels. Essa foi a primeira resposta da MS ao AJAX, mas eles geralmente são ruins e vão contra muitos dos conceitos que tornam o AJAX bom. Eles oferecem benefícios a curto prazo, mas, a longo prazo, são um pesadelo para a manutenção da minha experiência.