Até onde eu sei, as bibliotecas existentes (quase todas) no Python podem lidar com modelos muito complexos de redes neurais.
No entanto, o TensorFlow não é polido a partir de agora. Ele ainda tem um longo caminho a crescer antes de ser aceito como uma biblioteca convencional para ML.
Portanto, seguir em frente com as bibliotecas existentes, como PyLearn / Keras / Torch, etc, faz sentido a partir de agora (também como elas já têm comunidades amplas e dedicadas), pois você precisa se concentrar na pesquisa em vez de se preocupar com bugs e problemas técnicos de um biblioteca.