seleção rápida de linha aleatória no Postgres

Eu tenho uma tabela no postgres que contém alguns milhões de linhas. Eu verifiquei na internet e encontrei o seguinte

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Funciona, mas é muito lento ... existe outra forma de fazer essa consulta, ou uma forma direta de selecionar uma linha aleatória sem ler toda a tabela? A propósito, 'myid' é um número inteiro, mas pode ser um campo vazio.

Você pode querer experimentar OFFSET, como em

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

O Né o número de linhas em mytable. Você pode precisar primeiro fazer um SELECT COUNT(*)para descobrir o valor deN .

Atualizar (por Antony Hatchkins)

Você deve usar flooraqui:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Considere uma tabela de 2 linhas; random()*Ngera 0 <= x < 2e, por exemplo, SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;retorna 0 linhas devido ao arredondamento implícito para o int mais próximo.

PostgreSQL 9.5 introduziu uma nova abordagem para seleção de amostra muito mais rápida: TABLESAMPLE

A sintaxe é

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Esta não é a solução ideal se você deseja apenas uma linha selecionada, porque você precisa saber a CONTAGEM da tabela para calcular a porcentagem exata.

Para evitar um COUNT lento e usar TABLESAMPLE rápido para tabelas de 1 linha a bilhões de linhas, você pode fazer:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Isso pode não parecer tão elegante, mas provavelmente é mais rápido do que qualquer uma das outras respostas.

Para decidir se deseja usar o BERNULLI oder SYSTEM, leia sobre a diferença em http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/

Eu tentei isso com uma subconsulta e funcionou bem. O deslocamento, pelo menos no Postgresql v8.4.4, funciona bem.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Você precisa usar floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Verifique este link para algumas opções diferentes. http://www.depesz.com/index.php/2007/09/16/my-thoughts-on-getting-random-row/

Atualizar: (A. Hatchkins)

O resumo do (muito) longo artigo é o seguinte.

O autor lista quatro abordagens:

1) ORDER BY random() LIMIT 1; - lento

2) ORDER BY id where id>=random()*N LIMIT 1- não uniforme se houver lacunas

3) coluna aleatória - precisa ser atualizada de vez em quando

4) agregado aleatório personalizado - método astuto, pode ser lento: random () precisa ser gerado N vezes

e sugere melhorar o método 2 usando

5) ORDER BY id where id=random()*N LIMIT 1 com repetições subsequentes se o resultado estiver vazio.

A maneira mais fácil e rápida de buscar linha aleatória é usar a tsm_system_rowsextensão:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Em seguida, você pode selecionar o número exato de linhas que deseja:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Isso está disponível com PostgreSQL 9.5 e posterior.

Veja: https://www.postgresql.org/docs/current/static/tsm-system-rows.html

Eu vim com uma solução muito rápida sem TABLESAMPLE. Muito mais rápido do que OFFSET random()*N LIMIT 1. Nem mesmo requer contagem de mesa.

A ideia é criar um índice de expressão com dados aleatórios, mas previsíveis, por exemplo md5(primary key).

Aqui está um teste com dados de amostra de 1 milhão de linhas:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Resultado:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Esta consulta pode às vezes (com probabilidade de cerca de 1 / Número_de_rows) retornar 0 linhas, então ela precisa ser verificada e executada novamente. Além disso, as probabilidades não são exatamente as mesmas - algumas linhas são mais prováveis ​​do que outras.

Para comparação:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Os resultados variam muito, mas podem ser muito ruins:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)