Respostas:
Vou citar algumas referências do wiki de Dave Peters System Design Strategies , que é recomendado para uma leitura mais aprofundada para entender a complexidade de responder a essa pergunta. Eu também recomendaria verificar a versão relevante da ajuda na web em serviços de ajuste.
Eu acho que essa é realmente uma pergunta muito boa, embora um pouco vaga, pois é algo que é solicitado várias vezes.
Tentarei voltar a esta pergunta ao longo do tempo para reforçar a resposta. Feliz por se tornar um wiki da comunidade, se as pessoas quiserem melhorar minha resposta.
Instância de serviço é um parâmetro de configuração de serviço que identifica o número mínimo e máximo de encadeamentos de processos que serão implementados pelo ArcGIS for Server para satisfazer solicitações de serviço da web de entrada.
Não deve ser confundida com a instância de instalação na v9.3.1 e 10 do ArcGIS Server, que para evitar confusão, agora foi alterada para o site do GIS Server na v10.1.
Essas instâncias são executadas nas máquinas de contêiner (pares no seu site ArcGIS na 10.1). Se o serviço for de alto isolamento, cada instância será executada como seu próprio processo. O baixo isolamento permite que várias instâncias compartilhem um processo, o que geralmente é recomendado, pois o multi-threading faz melhor uso da memória (embora, se um processo travar, vários trabalhos possam ser perdidos). Com baixo isolamento, entre 8 e 24 instâncias do mesmo serviço podem compartilhar um processo.
É importante identificar a configuração de instância apropriada para cada implantação do serviço de mapa. As configurações apropriadas da instância de serviço dependem das demandas de serviço de pico esperadas e da configuração do processador principal da máquina do servidor.
Um aplicativo que usa uma instância só a utilizará pelo tempo necessário para concluir uma solicitação. Depois que a solicitação é concluída, a instância é liberada de volta ao pool para outra pessoa usar.
Quando o número máximo de instâncias de um serviço está em uso, um cliente solicitando um serviço fica na fila até que outro cliente libere um dos serviços. A quantidade de tempo que leva entre um cliente solicitando um serviço e obtendo um serviço é o tempo de espera.
Você pode inspecionar seus logs e o ArcGIS Server Statistics (não existe mais na 10.1) para determinar quais serviços são mais populares e exigem que mais instâncias sejam dedicadas a eles.
Regra geral de Dave Peters, que é uma resposta curta para esta pergunta:
As Instâncias máximas devem fornecer mais uma instância que os núcleos disponíveis da máquina do servidor. ou seja, N + 1 instâncias em que N = número de núcleos do servidor
Eu recomendo ler isso diretamente do Wiki e ajustar essas configurações com cuidado. Se você precisar de respostas mais específicas para um determinado cenário, precisará fazer isso em uma pergunta diferente.