Acho que vou responder minha pergunta. O mais recente navigationViewproduz seu padrão android:layout_heightquase 18dpquando você escolhe "wrap_content". Então, você deve escolher o android:layout_heightque deseja navigationViewou simplesmente criar android:layout_height="match_parent".
<android.support.design.widget.NavigationView
android:layout_width="320dp"
android:layout_height="550dp"
android:id="@+id/navigation_view_admin"
android:layout_gravity="start">
</android.support.design.widget.NavigationView>
De qualquer forma, sua altura aumenta automaticamente quando você adiciona um item na gaveta de navegação.
Por fim, use em addDrawerListener()vez de setDrawerListener()como disse Luxi Liu.