Não, você não danificará esses dispositivos. Existem postagens ocasionais ao contrário online, mas, na maioria das vezes, parece que o PoE é ativado apenas após o envio de uma solicitação de inicialização. Uma discussão melhor pode ser encontrada aqui: http://community.spiceworks.com/topic/187505-mixing-poe-and-non-poe-devices
A detecção de PoE ocorre assim "Para evitar danos a dispositivos não PoE, um componente-chave do padrão 802.3af PoE é a detecção. Os PSEs devem poder detectar a presença de um dispositivo habilitado para PoE antes de enviar energia e devem ser capaz de detectar quando o dispositivo energizado não está mais presente e remover a energia. Para obter uma detecção precisa, uma corrente de detecção de baixo nível é enviada do PSE através do cabo e a resposta é analisada para determinar se um dispositivo compatível está conectado. "
O restante da explicação do PoE e do padrão pode ser encontrado aqui: http://www.network-1.com/poe/poe_ovw.htm