ATUALIZAÇÃO 2 (16/03 2020)
A versão mais recente do Android Studio alterou a localização deste botão. Agora, se você quiser ver a visualização do design do layout, precisará pressionar um dos botões no canto superior direito do seu xml. O botão que se parece com um ícone de imagem abrirá o painel de design, enquanto o botão próximo a ele abrirá a exibição dividida em que o design é colocado ao lado do código XML:
ORIGINAL (21-05-2013)
Você deve ter um Designbotão ao lado do Textbotão no editor de texto xml:

Ou você pode usar o Previewbotão no canto superior direito para adicionar uma janela de visualização ao lado do código XML:

ATUALIZAR:
Se você não o tiver, faça o seguinte: View-> Tool Windows->Preview
