Como encontrar registros duplicados no PostgreSQL

Eu tenho uma tabela de banco de dados PostgreSQL chamada "user_links" que atualmente permite os seguintes campos duplicados:

year, user_id, sid, cid

A única restrição é atualmente o primeiro campo chamado "id", porém agora estou olhando para adicionar uma restrição para garantir que o year, user_id, side cidsão todos originais, mas não posso aplicar a restrição, porque valores duplicados já existem que violar esta restrição.

Existe uma maneira de encontrar todas as duplicatas?

A ideia básica será usar uma consulta aninhada com agregação de contagem:

select * from yourTable ou
where (select count(*) from yourTable inr
where inr.sid = ou.sid) > 1

Você pode ajustar a cláusula where na consulta interna para restringir a pesquisa.

Há outra boa solução para a mencionada nos comentários (mas nem todos os lêem):

select Column1, Column2, count(*)
from yourTable
group by Column1, Column2
HAVING count(*) > 1

Ou mais curto:

SELECT (yourTable.*)::text, count(*)
FROM yourTable
GROUP BY yourTable.*
HAVING count(*) > 1

Em " Encontre linhas duplicadas com o PostgreSQL ", aqui está a solução inteligente:

select * from (
  SELECT id,
  ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id asc) AS Row
  FROM tbl
) dups
where 
dups.Row > 1

Você pode ingressar na mesma tabela nos campos que seriam duplicados e depois ingressar no campo de identificação. Selecione o campo de identificação no primeiro alias da tabela (tn1) e use a função array_agg no campo de identificação do segundo alias da tabela. Por fim, para que a função array_agg funcione corretamente, você agrupará os resultados pelo campo tn1.id. Isso produzirá um conjunto de resultados que contém o ID de um registro e uma matriz de todos os IDs que atendem às condições de junção.

select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id;

Obviamente, os IDs que estarão na matriz duplicate_entries para um ID também terão suas próprias entradas no conjunto de resultados. Você precisará usar esse conjunto de resultados para decidir qual ID deseja tornar a fonte de 'verdade'. O único registro que não deve ser excluído. Talvez você possa fazer algo assim:

with dupe_set as (
select tn1.id,
       array_agg(tn2.id) as duplicate_entries, 
from table_name tn1 join table_name tn2 on 
    tn1.year = tn2.year 
    and tn1.sid = tn2.sid 
    and tn1.user_id = tn2.user_id 
    and tn1.cid = tn2.cid
    and tn1.id <> tn2.id
group by tn1.id
order by tn1.id asc)
select ds.id from dupe_set ds where not exists 
 (select de from unnest(ds.duplicate_entries) as de where de < ds.id)

Seleciona os IDs de número mais baixo duplicados (assumindo que o ID esteja aumentando em PK). Esses seriam os IDs que você manteria por perto.

Para facilitar, presumo que você deseja aplicar uma restrição exclusiva apenas para o ano da coluna e a chave primária é uma coluna chamada id.

Para encontrar valores duplicados, você deve executar,

SELECT year, COUNT(id)
FROM YOUR_TABLE
GROUP BY year
HAVING COUNT(id) > 1
ORDER BY COUNT(id);

Usando a instrução sql acima, você obtém uma tabela que contém todos os anos duplicados em sua tabela. Para excluir todas as duplicatas, exceto a última entrada duplicada, você deve usar a instrução sql acima.

DELETE
FROM YOUR_TABLE A USING YOUR_TABLE_AGAIN B
WHERE A.year=B.year AND A.id<B.id;