Eu também tive esse problema, mas a causa foi diferente. Estou usando o VS2017 com o F # 4.0.
Primeiro, o console no Visual Studio não fornece detalhes suficientes sobre por que os testes não foram encontrados; falhará ao carregar a DLL com os testes. Portanto, use NUnit3console.exe na linha de comando, pois isso fornece mais detalhes.
No meu caso, foi porque o adaptador de teste procurava uma versão mais recente da DLL do F # Core (4.4.1.0) (F # 4.1), enquanto ainda estou usando o 4.4.0.0 (F # 4.0). Então, acabei de adicionar isso ao app.config do projeto de teste: -
<dependentAssembly>
<assemblyIdentity name="FSharp.Core" publicKeyToken="b03f5f7f11d50a3a" culture="neutral" />
<bindingRedirect oldVersion="0.0.0.0-65535.65535.65535.65535" newVersion="4.4.0.0" />
</dependentAssembly>
ou seja, redirecione para o núcleo F # anterior.