jQuery é uma estrutura JavaScript projetada para permitir que os desenvolvedores literalmente "escrevam menos, façam mais", os 3 sabores diferentes sobre os quais você está perguntando, fazem coisas muito diferentes.
Em primeiro lugar, jQuery é a biblioteca central que contém a principal funcionalidade do framework, então se você quiser fazer um elemento fade in, você deve incluir jQuery em sua página e, em seguida, chamar a fadeIn()função em um de seus elementos.
O jQuery UI foi criado com elementos da interface do usuário e interações em mente que geralmente requerem uma grande quantidade de código para manipular de outra forma. Portanto, a biblioteca contém coisas como a capacidade de arrastar e soltar elementos e obter informações úteis dessas interações. Mas, ao mesmo tempo, há um foco na aparência, portanto, há todos os tipos de temas disponíveis para estilizar esses poderosos elementos de interface do usuário nesta biblioteca.
jQuery mobile é uma estrutura poderosa construída em cima do jQuery e projetada especificamente para plataformas móveis - afinal a funcionalidade de coisas como arrastar e soltar precisa ser repensada para telas de toque, assim como a funcionalidade central como "pairar", que simplesmente não existe no celular.
Juntas, as estruturas podem ser usadas para aprimorar a usabilidade de um site e realmente economizar muito tempo dos desenvolvedores. Para saber mais sobre a estrutura, visite Learning jQuery - um ótimo recurso para começar.
Os plug-ins permitem que os desenvolvedores da web coloquem a solução para seu problema e a abstraiam em um único bloco funcional e independente (geralmente em um arquivo separado). Eles podem então compartilhar isso com todos os outros para que eles possam fazer o mesmo. Portanto, se alguém construir um recurso de galeria para um site que criou, criar um plug-in permitiria que eles reutilizassem facilmente o código e ajudaria outras pessoas que enfrentassem o mesmo problema.