Isso é tudo sobre confiança.
Digamos que você visite um site popular que apresente um certificado. Este é o site dizendo "Este é quem eu sou, você pode confiar em mim, porque eu tenho essa carta de apresentação assinada por alguém em quem você confia".
Nesse caso, o 'alguém em quem você confia' é uma das autoridades do certificado que (esperançosamente) fizeram o trabalho de perna para estabelecer a identidade do apresentador do certificado em seu nome.
O que você realmente confia é a confiança do autor do navegador na confiança da autoridade de certificação na identidade da pessoa que apresenta o certificado. Também há frequentemente mais de uma autoridade entre você e o apresentador, daí o termo: 'Cadeia de Confiança'. [1]
Quando você assina seu próprio certificado, não há cadeia de confiança. Seu site está apresentando seu próprio certificado de volta para você. Se você instalar o seu próprio certificado em seu navegador como um que você confia, então, que é tratada como uma autoridade, o mesmo que os que vêm pré-instalados. Você tem uma cadeia de confiança com apenas um link.
Se você visitar o seu próprio site e o navegador o avisar de que ele está apresentando um certificado não confiável, você deverá ter motivos de preocupação, pois, como em qualquer outro site que apresente um certificado não confiável, você não pode ter certeza que você está se comunicando com o site real.
Observe que ainda não mencionei a criptografia. Certificados são sobre a autenticação da identidade da parte com quem você está se comunicando. Por meio de certificados confiáveis, existe uma maneira de garantir razoavelmente que sua loja ou banco é o verdadeiro. Depois de estabelecer sua identidade, proteger as comunicações entre você é o próximo passo. Acontece que os certificados também contêm as chaves necessárias para facilitar essa segurança. Supondo que você configurou seu SSL corretamente, essa comunicação é tão segura quanto você faria com sua loja ou banco e suas senhas são igualmente protegidas. [2]
[1] Este não é um sistema sem falhas. Um mercado livre e um negócio de baixa margem e alto volume inevitavelmente levam à redução de custos: http://www.theregister.co.uk/2011/04/11/state_of_ssl_analysis/
[2] Pelo menos, protegido o suficiente para que seja muito mais barato alguém invadir sua casa espancar seus segredos, em vez de tentar descobri-los: http://xkcd.com/538/