A resposta é simples: se o seu sistema for linear, um filtro Kalman (regular) funcionará perfeitamente. Um resumo muito breve das diferenças entre os dois:
O filtro Kalman estendido (EKF) é uma extensão que pode ser aplicada a sistemas não lineares. A exigência de equações lineares para os modelos de medição e de transição de estado é atenuada; em vez disso, os modelos podem ser não lineares e precisam ser diferenciados apenas.
O EKF trabalha transformando os modelos não lineares a cada passo em sistemas linearizados de equações. Em um modelo de variável única, você faria isso usando o valor atual do modelo e sua derivada; a generalização para múltiplas variáveis e equações é a matriz jacobiana. As equações linearizadas são então usadas de maneira semelhante ao filtro Kalman padrão.
Como em muitos casos em que você aproxima um sistema não linear com um modelo linear, há casos em que o EKF não apresenta bom desempenho. Se você tem um palpite inicial ruim do estado do sistema subjacente, poderá eliminar o lixo. Ao contrário do filtro Kalman padrão para sistemas lineares, o EKF não é comprovadamente ideal em nenhum sentido; é apenas uma extensão da técnica do sistema linear para uma classe mais ampla de problemas.