Mike está correto, iSCSI e SMB / CIFS operam em duas camadas diferentes de abstração.
Você pode pensar em SMB / CIFS como exportando um sistema de arquivos que outras máquinas podem acessar. A estrutura de diretórios, os metadados de segurança e outros já estão lá. As máquinas clientes podem ler e gravar arquivos neste sistema de arquivos, mas essa é a extensão de seu acesso.
Com o iSCSI, as máquinas clientes veem o que equivale a um volume físico do ponto de vista do sistema operacional. Em uma máquina cliente Windows, você deve primeiro configurar um iniciador iSCSI apontando para o host iSCSI (destino). Depois disso, você veria um novo disco físico no painel de controle de gerenciamento de disco do Windows. Você iria inicializá-lo, particioná-lo e formatá-lo com o sistema de arquivos que desejar. Nenhuma outra máquina teria acesso a essa área (pelo menos simultaneamente e ignorando coisas avançadas, como sistemas de arquivos em cluster).
O processo seria um pouco diferente do ESXi, mas o conceito é o mesmo - o destino iSCSI pareceria como outro disco no qual você poderia criar um sistema de arquivos VMFS.
Uma coisa que você pode considerar se estiver criando seu próprio servidor de armazenamento é que é possível fazer as duas coisas ao mesmo tempo. Softwares como o OpenFiler e o FreeNAS permitem agregar um conjunto de armazenamento e permitir o acesso iSCSI e SMB / CIFS. O espaço iSCSI deve ser pré-alocado (como um disco rígido de máquina virtual) e não é visível para os clientes CIFS. As duas áreas são separadas. Você também pode ficar com um servidor Windows e instalar um software para exportar um destino iSCSI, como o criado pelo StarWinds.
O iSCSI em geral terá um desempenho melhor porque não haverá tantas camadas de abstração no caminho - o protocolo SMB nesse caso. Além disso, como é um protocolo em nível de bloco, alguns softwares que não funcionarão quando instalados em um compartilhamento de rede funcionarão com o iSCSI.
Eu estava pensando que o ESXi pode não permitir o acesso a compartilhamentos SMB, apenas NFS, então você também pode querer analisar isso. Se isso for verdade, você precisará de alguma maneira de exportar compartilhamentos NFS, mas a discussão acima permanece a mesma. O OpenFiler / FreeNAS tem suporte a NFS e o Windows também pode ser configurado com ele.