Desempenho TSQL - JOIN no valor entre min e max

Eu tenho duas tabelas nas quais guardo:

• um intervalo de IP - tabela de pesquisa de país
• uma lista de solicitações provenientes de IPs diferentes

Os IPs foram armazenados como bigints para melhorar o desempenho da pesquisa.

Esta é a estrutura da tabela:

create table [dbo].[ip2country](
    [begin_ip] [varchar](15) NOT NULL,
    [end_ip] [varchar](15) NOT NULL,
    [begin_num] [bigint] NOT NULL,
    [end_num] [bigint] NOT NULL,
    [IDCountry] [int] NULL,
    constraint [PK_ip2country] PRIMARY KEY CLUSTERED 
    (
        [begin_num] ASC,
        [end_num] ASC
    )
)

create table Request(
    Id int identity primary key, 
    [Date] datetime, 
    IP bigint, 
    CategoryId int
)

Quero obter o detalhamento da solicitação por país e, portanto, faço a seguinte consulta:

select 
    ic.IDCountry,
    count(r.Id) as CountryCount
from Request r
left join ip2country ic 
  on r.IP between ic.begin_num and ic.end_num
where r.CategoryId = 1
group by ic.IDCountry

Eu tenho muitos registros nas tabelas: cerca de 200.000 IP2Countrye alguns milhões Request, portanto a consulta demora um pouco.

Observando o plano de execução, a parte mais cara é uma Busca de Índice em Cluster no índice PK_IP2Country, que é executado várias vezes (o número de linhas na Solicitação).

Além disso, algo que me parece um pouco estranho é a left join ip2country ic on r.IP between ic.begin_num and ic.end_numparte (não sei se há uma maneira melhor de executar a pesquisa).

A estrutura da tabela, alguns dados de amostra e consulta estão disponíveis no SQLFiddle: http://www.sqlfiddle.com/#!3/a463e/3 (infelizmente não acho que posso inserir muitos registros para reproduzir o problema, mas isso espero que dê uma idéia).

Como (obviamente) eu não sou especialista em otimizações / desempenho de SQL, minha pergunta é: existem formas óbvias pelas quais essa estrutura / consulta possa ser aprimorada em termos de desempenho que estou perdendo?

Você precisa de um índice adicional. No seu exemplo do Fiddle, eu adicionei:

CREATE UNIQUE INDEX ix_IP ON Request(CategoryID, IP)

Que abrange você para a tabela de solicitação e obtém uma busca de índice em vez de uma varredura de índice em cluster.

Veja como isso melhora e me avise. Acho que vai ajudar um pouco, já que a verificação desse índice é, com certeza, não é barata.

Sempre existe a abordagem da força bruta: você pode explodir seu mapa IP. Associe uma tabela de números ao seu mapa existente para criar um registro por endereço IP. São apenas 267 mil registros com base nos dados do Fiddle, sem nenhum problema.

CREATE TABLE IPLookup
  (
  IP  BIGINT PRIMARY KEY,
  CountryID  INT
  )
INSERT INTO IPLookup (IP, CountryID)
  SELECT
    N.Number, Existing.IDCountry
  FROM
    ip2country AS Existing
    INNER JOIN Numbers AS N ON N.Number BETWEEN Existing.begin_num AND Existing.end_num

Isso tornaria as buscas mais simples e, esperançosamente, mais rápidas. Isso só faz sentido se você fizer relativamente poucas atualizações ip2country, é claro.

Espero que alguém tenha uma solução melhor!

Tente o seguinte:

SELECT ic.IDCountry,
        COUNT(r.Id) AS CountryCount
FROM Request r
INNER JOIN (SELECT begin_num+NUMS.N [IP], IDCountry 
            FROM ip2country
            CROSS JOIN (SELECT TOP(SELECT ABS(MAX(end_num-begin_num)) FROM ip2country) ROW_NUMBER() OVER(ORDER BY sc.name)-1 [N]
                        FROM sys.columns sc) NUMS
            WHERE begin_num+NUMS.N <= end_num) ic
ON r.IP = ic.IP
WHERE r.CategoryId = 1
GROUP BY ic.IDCountry