Como Brian disse, os núcleos Xeon Phi não são nada comparáveis aos núcleos CUDA. O problema com o Phi é que ele está entre dois cavalos.
Se você estiver fazendo cálculos de ponto flutuante altamente paralelos, a NVIDIA fornecerá algo como 3 vezes o desempenho a 1/4 do preço. Para precisão dupla, a diferença é menor, mas a NVIDIA continua sendo 20% mais barata para o mesmo desempenho.
Se o seu problema for muito difícil de paralelizar, o Phi não ajudará em nada e, em vez disso, algo como um Intel Xeon fornecerá o melhor desempenho.
O ponto ideal para o Phi é algo altamente paralelo, mas divergente, ou seja, cada segmento tem que fazer algo diferente. Um exemplo disso seria simulações de Monte Carlo. Eles são usados, por exemplo, em simulações de tratamentos de radioterapia, em que as GPUs apenas dão uma pequena aceleração (~ 2x) em uma CPU padrão.
A Intel também está tentando vender o Xeon Phi no fato de que você só precisa reescrever seu código minimamente. No entanto, para qualquer coisa que não seja trivial paralelizar, o trabalho se torna o mesmo que para uma GPU.