Não é apenas Hawking, você ouve variações desse refrão de muitas pessoas. E como são pessoas muito inteligentes, educadas e bem informadas (Elon Musk é outro, por exemplo), provavelmente não deve ser descartado de imediato.
De qualquer forma, a idéia básica parece ser a seguinte: se criarmos inteligência artificial "real", em algum momento, ela poderá melhorar a si mesma, o que melhora sua capacidade de melhorar a si mesma, o que significa que pode melhorar sua capacidade de melhorar a si mesma, mesmo mais, e assim por diante ... uma cascata descontrolada que leva à "inteligência sobre-humana". Ou seja, levando a algo que é mais inteligente do que o nosso.
Então, o que acontece se houver uma entidade neste planeta que seja literalmente mais inteligente que nós (humanos)? Seria uma ameaça para nós? Bem, certamente parece razoável especular que poderia ser assim. OTOH, não temos nenhuma razão particular, neste momento, a pensar que vai assim.
Parece que Hawking, Musk, etc. estão chegando ao lado mais cauteloso / medroso das coisas. Como não sabemos se uma IA sobre-humana será perigosa ou não, e como seria incontrolável se tornasse malicioso (lembre-se, é mais inteligente do que nós!), É uma coisa razoável a se levar em consideração.
Eliezer Yudkowsky também escreveu bastante sobre esse assunto, incluindo o famoso experimento "AI Box". Acho que qualquer pessoa interessada neste tópico deve ler parte de seu material.
http://www.yudkowsky.net/singularity/aibox/