Como sempre, o Timatic é a fonte definitiva para esse tipo de pergunta. Aqui está o que diz para um cidadão dos EUA que transita pelo Azerbaijão:
Trânsito - Azerbaijão (AZ)
Visa
É necessário visto.
DOIS (Trânsito Sem Visto):
Passageiros com passagem confirmada para um voo para um país terceiro dentro de 72 horas. Eles devem permanecer na área de trânsito internacional do aeroporto e ter os documentos necessários para o próximo destino.
Portanto, você deve ficar bem, desde que possa despachar sua bagagem até Lviv quando embarcar no avião em Tel Aviv. Geralmente, esse é o caso se você comprar os voos como um único itinerário, mas tome cuidado com qualquer itinerário em que tenha de solicitar e verificar novamente sua bagagem em Baku.
Como um aparte: você diz que
Da experiência passada em trânsito por países estrangeiros, eu acho que não, já que não estou saindo do aeroporto.
Muitos países permitem o trânsito sem visto, desde que você permaneça na região "estéril" do aeroporto. A principal exceção, porém, são os próprios Estados Unidos; Como regra geral, os cidadãos estrangeiros que transitam pelos EUA devem obter um visto. Como cidadão dos EUA, você não precisa se preocupar com isso; mas vale a pena notar que esse problema pode apresentar grandes dificuldades para viajantes internacionais de outros países.