Esse é um problema difícil de abordar em algumas centenas de palavras; portanto, isso será breve e você precisará fazer algumas pesquisas por conta própria. Mas vou tentar resumir o suficiente para que você pelo menos saiba o que pesquisar.
Você precisa saber sobre impedância de rastreamento, terminação de sinal, caminhos de retorno de sinal e limites de desvio / desacoplamento. Se você as acertasse absolutamente, não haveria nenhum problema EMC. Ficar 100% perfeito é impossível, mas você pode se aproximar muito mais do que está agora.
Primeiro, vejamos os caminhos de retorno do sinal ... Para cada sinal, deve haver um caminho de retorno. Normalmente, o retorno é no plano de potência ou no solo, mas também pode estar em outro lugar. No seu PCB, o retorno é em um avião. O caminho de retorno vai do receptor de volta ao motorista. A área do loop é o loop físico criado pelo sinal mais o caminho de retorno. Normalmente, as leis da física fazem com que a área do loop seja a menor possível - mas o roteamento de PCBs quer atrapalhar isso.
Quanto maior a área do loop, mais problemas de RF você terá. Você não apenas emitirá mais RF do que deseja, como também receberá mais RF.
Os sinais na camada inferior (azul) desejam que seu caminho de retorno esteja no plano adjacente na próxima camada (ciano) - pois isso torna a área do loop a menor possível. Os sinais na camada superior (vermelha) terão seu caminho de retorno na camada dourada.
Se um sinal iniciar na camada superior e passar por uma via para a camada inferior, o caminho de retorno do sinal desejará alternar das camadas de ouro para ciano, no ponto da via! Essa é uma das principais funções da dissociação de tampas. Normalmente, um plano seria GND e o outro seria VCC. Um caminho de retorno de sinal pode atravessar a tampa de desacoplamento ao alternar entre planos. É por isso que geralmente é importante ter limites entre os planos, mesmo quando isso não é obviamente necessário por razões de energia.
Sem um limite de desacoplamento entre os planos, o caminho de retorno não pode seguir uma rota mais direta e, portanto, a área do loop aumenta de tamanho - e os problemas EMC aumentam.
Mas os vazios / divisões nos planos podem ser ainda mais problemáticos. Sua camada de ouro possui planos divididos e traços de sinal, que criam problemas. Se você comparar as camadas vermelha e dourada, verá como os sinais cruzam os vazios nos planos. Toda vez que um sinal atravessa um vazio no avião, algo vai dar errado. A corrente de retorno estará no avião, mas não poderá seguir o traço no vazio, portanto, terá que fazer um desvio importante. Isso aumenta a área do loop e seus problemas EMC.
Você pode colocar uma tampa no vazio, exatamente onde os sinais se cruzam. Mas uma abordagem melhor seria redirecionar as coisas para evitar isso em primeiro lugar.
Outra maneira de criar o mesmo problema é quando você tem várias vias próximas. A folga entre as vias e o avião pode criar fendas nos planos. Diminua a folga ou espalhe as vias para que o slot não se forme.
Ok, esse é o maior problema da sua diretoria. Depois de entender isso, você deve observar a terminação do sinal e controlar a impedância do traço. Depois disso, é necessário examinar os problemas de GND de blindagem e chassi com sua conexão Ethernet (não há informações suficientes no Q para comentar com precisão).
Espero que ajude. Eu realmente fiquei bêbado com os problemas, mas isso deve levá-lo adiante.