Depende da distribuição dos dados.
Imagine que eu tivesse um livro com 1000 páginas digitadas com precisão, e as únicas palavras em meu livro eram 'sim' e 'não' repetidas continuamente e distribuídas aleatoriamente. Se eu fosse solicitado a circular todas as ocorrências de 'sim', um índice no final do livro ajudaria? Depende.
Se houvesse uma distribuição aleatória meio a meio de sim e não, pesquisar no índice não ajudaria. O índice tornaria o livro muito maior e, de qualquer forma, seria mais rápido apenas começar do início e trabalhar cada página procurando todas as ocorrências de "sim" e circulando-as, em vez de procurar cada item em o índice e, em seguida, tomando a referência da entrada do índice para a página a que se refere.
Mas se houvesse, digamos, apenas dez ocorrências de 'sim' em meu livro de mil páginas e todo o resto fosse apenas milhões de não, então um índice me pouparia muito tempo para encontrar essas dez ocorrências de 'sim' e circulá-las .
É o mesmo em bancos de dados. Se for uma distribuição 50:50, então um índice não vai ajudar - o mecanismo de banco de dados é melhor apenas lavando os dados do início ao fim (varredura completa da tabela), e o índice apenas aumentaria o banco de dados, e mais lento para escrever e atualizar. Mas se for algo como uma distribuição de 4000: 1 (como mostrado neste tópico), uma busca de índice pode acelerá-la enormemente, se for 1 em 4000 itens que você está procurando.