A menos que você esteja exibindo muitas visualizações (por exemplo, em uma ListView), o desempenho de escolher entre LinearLayout ou RelativeLayout é insignificante. Escolha o que for mais conveniente para o trabalho e se preocupe com o desempenho apenas quando for necessário.
E aqui está o que a documentação oficial sobre como criar layouts eficientes diz sobre o desempenho de RelativeLayout e LinearLayout:
Manter os recursos básicos infelizmente não é a maneira mais eficiente de criar interfaces de usuário. Um exemplo comum é o abuso de LinearLayout, que leva a uma proliferação de visualizações na hierarquia de visualizações. Cada visualização - ou pior, cada gerenciador de layout - que você adiciona ao seu aplicativo tem um custo: inicialização, layout e desenho ficam mais lentos. A passagem de layout pode ser especialmente cara quando você aninha vários LinearLayout que usam o parâmetro de peso, o que requer que o filho seja medido duas vezes.