Existem várias maneiras de fazer isso. Você pode usar a ferramenta caneta desenhando você mesmo.
Minha resposta é baseada na maneira como venho fazendo isso ao longo dos anos.

Desenhe um triângulo em uma nova camada. pressione cmd + a (selecione tudo) e depois cmd + c (cópia)

alterne para a guia Canais e crie um novo canal. Será nomeado "Alfa 1" por padrão. agora cole o triângulo do qual você copiou antes. Observe que o triângulo será branco. A área branca no canal se tornará sua máscara de seleção posteriormente.

Agora, ofereça um desfoque gaussiano a toda a camada do canal. nota: o valor de desfoque aqui não será traduzido exatamente para o raio da borda de pixel que você deseja. você só precisa brincar um pouco. Estou usando 10px blur no meu exemplo.

Depois de terminar de desfocar, pressione cmd + L (nível). No menu de nível, ajuste os valores de entrada. use o valor que escolhi na minha captura de tela. A idéia é tornar o triângulo "afiado" novamente. Fazer isso criará as dicas circulares em cada extremidade.

Agora volte para a guia Camadas, oculte a camada do triângulo que você desenhou antes. inicie uma nova camada e vá em "Selecionar" -> "Carregar seleção". No pop-up, para "Origem", escolha "Alfa 1"
Agora você terá selecionado o contorno do triângulo arredondado e poderá preenchê-lo com a cor que desejar.