Não sei o que você quer dizer com "baunilha em pó", a verdadeira baunilha não vem em pó, mas há uma variedade de produtos processados que são usados para aromatizar a baunilha e que vêm em pó.
Se o seu pó de baunilha é feito de vanilina artificial pura ou contém beta-caroteno, pode ter um sabor desagradável. Sugiro dissolver um pouco do pó no leite e beber dessa maneira, para ver se o sabor está presente. Não use uma concentração muito alta, isso será muito forte, mas você pode aumentar mais do que normalmente usa no iogurte.
Se não for o pó, tudo o mais que você mencionou pode ter sido um fator. Tente usar um novo lote de iogurte comprado em lojas como cultura. Mude o recipiente para algo não reativo, de preferência vidro. Faça essas alterações separadamente, mantendo os outros fatores constantes, para descobrir qual é o culpado.