Rumah hujung hadapan web tutorial js Bagaimana untuk mengalih keluar pendua dalam Postgres SQL

Bagaimana untuk mengalih keluar pendua dalam Postgres SQL

Nov 26, 2024 pm 03:48 PM

How to remove duplicates in Postgres SQL


Disiarkan silang pada blog saya
Anda boleh membacanya di sini


Skema kami

create table "post" (
  id SERIAL PRIMARY KEY,
  title VARCHAR(255) NOT NULL,
  content TEXT NOT NULL
);

create table "user" (
  id SERIAL PRIMARY KEY,
  name VARCHAR(255) NOT NULL
)

create table "post_like" (
  id SERIAL PRIMARY KEY,
  post_id INTEGER NOT NULL REFERENCES post(id),
  user_id INTEGER NOT NULL REFERENCES user(id)
)

Salin selepas log masuk
Salin selepas log masuk

Kini kami ingin memastikan setiap pengguna tidak boleh menyukai siaran yang sama lebih daripada sekali.
Ini boleh dicegah dengan:

  • menggunakan kekangan unik pada pasangan lajur post_id user_id pada jadual post_like.
  • atau mengalih keluar lajur id jadual post_like dan gunakan kunci utama komposit pada post_id user_id

Tetapi, dengan mengandaikan kita berada pada titik di mana pendua sudah ada, kita perlu mengalih keluarnya.

Semak sama ada terdapat pendua

select 
  post_id, 
  user_id,
  count(*)
from post_like
group by post_id, user_id
having count(*) > 2
;

Salin selepas log masuk
Salin selepas log masuk
| post_id | user_id | count |
| ------- | ------- | ----- |
| 3       | 2       | 2     |
Salin selepas log masuk
Salin selepas log masuk

Output ini memberitahu kami bahawa pengguna 2 telah menyukai siaran 3 lebih daripada satu kali, khususnya 2 kali.

Alih keluar pendua

Sekarang kami tahu bahawa terdapat pendua, kami boleh mengalih keluarnya.

Kami membahagikan proses ini dalam dua langkah:

  • baca pendua
  • alih keluar pendua (lari kering)
  • alih keluar pendua (lari sebenar)

Baca pendua

Kembali urus niaga

Untuk menguji pertanyaan kami tanpa mengalih keluar data sebenar, sehingga kami pasti pertanyaan itu betul, kami menggunakan ciri rollback transaksi.

Dengan melakukan ini pertanyaan kami tidak akan pernah dilakukan, adalah serupa dengan
konsep "dry run" yang boleh anda temui pada aplikasi lain (seperti
rsync).

CTE

Kami menggunakan CTE kerana ia memberikan DX yang baik.

Dengan CTE, kita boleh menjalankan pertanyaan, menyimpan keputusan dalam jadual sementara dan kemudian menggunakan jadual yang sama untuk pertanyaan berikutnya.

Model mental ini serupa dengan apa yang biasa kita lakukan dalam pengekodan dengan mencipta pembolehubah sementara.

Sintaks CTE ialah

 with 
 <cte_name> as (
   <query>
 ),
 <cte_name_2> as (
   <query_2> -- here we can refernce <cte_name>
 )
 <final_query> -- here we can refernce <cte_name> and <cte_name_2>
Salin selepas log masuk
Salin selepas log masuk

Dengan kedua-dua transaksi dan CTE, kami boleh melakukan perkara berikut:

begin; -- start transaction

with
duplicates_info as (
  select
    row_number() over (
      partition by post_id, user_id order by user_id
    ) as group_index,
    id,
    post_id,
    user_id
  from post_like
)
select *
from duplicates_info
;

rollback; -- ends transaction discarding every changes to the database 

Salin selepas log masuk
Salin selepas log masuk
| group_index | id | post_id | user_id |
| ----------- | -- | ------- | ------- |
| 1           | 1  | 1       | 1       |
| 1           | 2  | 2       | 2       |
| 1           | 3  | 3       | 2       |
| 2           | 4  | 3       | 2       |
Salin selepas log masuk
Salin selepas log masuk

Barisan keputusan terkini, dengan indeks_kumpulan ialah 2, bermakna baris ini adalah baris kedua dalam kumpulan dengan post_id = 3 dan user_id = 2.

Apakah yang berlaku di sini dengan sintaks?

row_number() over (partition by ...) sebagai group_index ialah fungsi tetingkap yang, pertama kumpulan baris mengikut lajur dalam partition mengikut klausa, dan kemudian memberikan nombor kepada setiap baris, berdasarkan indeks baris dalam kumpulan.

partition adalah serupa dengan kumpulan oleh, kerana ia mengumpulkan baris mengikut lajur biasa, tetapi jika kumpulan mengikut mengembalikan hanya 1 baris untuk setiap kumpulan, partition marilah kami menambah lajur baharu pada jadual sumber berdasarkan kumpulan.

group_index ialah alias nama lajur, sintaks sql biasa.

Tapis hanya pendua

Sekarang mari kita simpan hanya item dengan group_index > 1, yang bermaksud bahawa baris itu bukan yang pertama dalam kumpulan, atau dengan kata lain, ia adalah pendua.

create table "post" (
  id SERIAL PRIMARY KEY,
  title VARCHAR(255) NOT NULL,
  content TEXT NOT NULL
);

create table "user" (
  id SERIAL PRIMARY KEY,
  name VARCHAR(255) NOT NULL
)

create table "post_like" (
  id SERIAL PRIMARY KEY,
  post_id INTEGER NOT NULL REFERENCES post(id),
  user_id INTEGER NOT NULL REFERENCES user(id)
)

Salin selepas log masuk
Salin selepas log masuk
select 
  post_id, 
  user_id,
  count(*)
from post_like
group by post_id, user_id
having count(*) > 2
;

Salin selepas log masuk
Salin selepas log masuk

Kita perlu mengalih keluar baris ini sahaja, dengan id 4.

Alih keluar pendua - larian kering

Sekarang sambung semula pertanyaan akhir supaya kita membaca dari jadual post_like dan bukan lagi dari cte duplicates_info.
Kami masih menggunakan cte duplicates_info untuk mendapatkan id pendua.

| post_id | user_id | count |
| ------- | ------- | ----- |
| 3       | 2       | 2     |
Salin selepas log masuk
Salin selepas log masuk

Kami akan melihat rekod yang ingin kami alih keluar.

Selepas kami menyemak sama ada ia betul, kami menukar pilih dengan padam.

 with 
 <cte_name> as (
   <query>
 ),
 <cte_name_2> as (
   <query_2> -- here we can refernce <cte_name>
 )
 <final_query> -- here we can refernce <cte_name> and <cte_name_2>
Salin selepas log masuk
Salin selepas log masuk

Pertanyaan terakhir inilah yang akhirnya kami mahu laksanakan.

Tetapi kerana kami masih mempunyai penyataan rollback, perubahan ini disimulasikan dan tidak digunakan pada pangkalan data.

Alih keluar pendua - larian sebenar

Akhirnya kami boleh mengalih keluar pendua secara nyata.
Di sini kami menggunakan commit dan bukannya rollback, supaya perubahan digunakan pada pangkalan data.

begin; -- start transaction

with
duplicates_info as (
  select
    row_number() over (
      partition by post_id, user_id order by user_id
    ) as group_index,
    id,
    post_id,
    user_id
  from post_like
)
select *
from duplicates_info
;

rollback; -- ends transaction discarding every changes to the database 

Salin selepas log masuk
Salin selepas log masuk

Kod Akhir

| group_index | id | post_id | user_id |
| ----------- | -- | ------- | ------- |
| 1           | 1  | 1       | 1       |
| 1           | 2  | 2       | 2       |
| 1           | 3  | 3       | 2       |
| 2           | 4  | 3       | 2       |
Salin selepas log masuk
Salin selepas log masuk

Kesimpulan

Saya menulis artikel terutamanya untuk membantu masa depan diri saya atau untuk membantu pertumbuhan alatan yang saya gunakan dalam kerja saya.

Jika artikel ini membantu anda tinggalkan like.

Adakah anda mahu saya bercakap tentang topik tertentu?

Beritahu saya dalam komen!

Atas ialah kandungan terperinci Bagaimana untuk mengalih keluar pendua dalam Postgres SQL. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

Video Face Swap

Video Face Swap

Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

<🎜>: Bubble Gum Simulator Infinity - Cara Mendapatkan dan Menggunakan Kekunci Diraja
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Nordhold: Sistem Fusion, dijelaskan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Mandragora: Whispers of the Witch Tree - Cara Membuka Kunci Cangkuk Bergelut
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Tutorial Java
1672
14
Tutorial PHP
1277
29
Tutorial C#
1257
24
Python vs JavaScript: Keluk Pembelajaran dan Kemudahan Penggunaan Python vs JavaScript: Keluk Pembelajaran dan Kemudahan Penggunaan Apr 16, 2025 am 12:12 AM

Python lebih sesuai untuk pemula, dengan lengkung pembelajaran yang lancar dan sintaks ringkas; JavaScript sesuai untuk pembangunan front-end, dengan lengkung pembelajaran yang curam dan sintaks yang fleksibel. 1. Sintaks Python adalah intuitif dan sesuai untuk sains data dan pembangunan back-end. 2. JavaScript adalah fleksibel dan digunakan secara meluas dalam pengaturcaraan depan dan pelayan.

JavaScript dan Web: Fungsi teras dan kes penggunaan JavaScript dan Web: Fungsi teras dan kes penggunaan Apr 18, 2025 am 12:19 AM

Penggunaan utama JavaScript dalam pembangunan web termasuk interaksi klien, pengesahan bentuk dan komunikasi tak segerak. 1) kemas kini kandungan dinamik dan interaksi pengguna melalui operasi DOM; 2) pengesahan pelanggan dijalankan sebelum pengguna mengemukakan data untuk meningkatkan pengalaman pengguna; 3) Komunikasi yang tidak bersesuaian dengan pelayan dicapai melalui teknologi Ajax.

JavaScript in Action: Contoh dan projek dunia nyata JavaScript in Action: Contoh dan projek dunia nyata Apr 19, 2025 am 12:13 AM

Aplikasi JavaScript di dunia nyata termasuk pembangunan depan dan back-end. 1) Memaparkan aplikasi front-end dengan membina aplikasi senarai TODO, yang melibatkan operasi DOM dan pemprosesan acara. 2) Membina Restfulapi melalui Node.js dan menyatakan untuk menunjukkan aplikasi back-end.

Memahami Enjin JavaScript: Butiran Pelaksanaan Memahami Enjin JavaScript: Butiran Pelaksanaan Apr 17, 2025 am 12:05 AM

Memahami bagaimana enjin JavaScript berfungsi secara dalaman adalah penting kepada pemaju kerana ia membantu menulis kod yang lebih cekap dan memahami kesesakan prestasi dan strategi pengoptimuman. 1) aliran kerja enjin termasuk tiga peringkat: parsing, penyusun dan pelaksanaan; 2) Semasa proses pelaksanaan, enjin akan melakukan pengoptimuman dinamik, seperti cache dalam talian dan kelas tersembunyi; 3) Amalan terbaik termasuk mengelakkan pembolehubah global, mengoptimumkan gelung, menggunakan const dan membiarkan, dan mengelakkan penggunaan penutupan yang berlebihan.

Python vs JavaScript: Komuniti, Perpustakaan, dan Sumber Python vs JavaScript: Komuniti, Perpustakaan, dan Sumber Apr 15, 2025 am 12:16 AM

Python dan JavaScript mempunyai kelebihan dan kekurangan mereka sendiri dari segi komuniti, perpustakaan dan sumber. 1) Komuniti Python mesra dan sesuai untuk pemula, tetapi sumber pembangunan depan tidak kaya dengan JavaScript. 2) Python berkuasa dalam bidang sains data dan perpustakaan pembelajaran mesin, sementara JavaScript lebih baik dalam perpustakaan pembangunan dan kerangka pembangunan depan. 3) Kedua -duanya mempunyai sumber pembelajaran yang kaya, tetapi Python sesuai untuk memulakan dengan dokumen rasmi, sementara JavaScript lebih baik dengan MDNWebDocs. Pilihan harus berdasarkan keperluan projek dan kepentingan peribadi.

Python vs JavaScript: Persekitaran dan Alat Pembangunan Python vs JavaScript: Persekitaran dan Alat Pembangunan Apr 26, 2025 am 12:09 AM

Kedua -dua pilihan Python dan JavaScript dalam persekitaran pembangunan adalah penting. 1) Persekitaran pembangunan Python termasuk Pycharm, Jupyternotebook dan Anaconda, yang sesuai untuk sains data dan prototaip cepat. 2) Persekitaran pembangunan JavaScript termasuk node.js, vscode dan webpack, yang sesuai untuk pembangunan front-end dan back-end. Memilih alat yang betul mengikut keperluan projek dapat meningkatkan kecekapan pembangunan dan kadar kejayaan projek.

Peranan C/C dalam JavaScript Jurubah dan Penyusun Peranan C/C dalam JavaScript Jurubah dan Penyusun Apr 20, 2025 am 12:01 AM

C dan C memainkan peranan penting dalam enjin JavaScript, terutamanya digunakan untuk melaksanakan jurubahasa dan penyusun JIT. 1) C digunakan untuk menghuraikan kod sumber JavaScript dan menghasilkan pokok sintaks abstrak. 2) C bertanggungjawab untuk menjana dan melaksanakan bytecode. 3) C melaksanakan pengkompil JIT, mengoptimumkan dan menyusun kod hot-spot semasa runtime, dan dengan ketara meningkatkan kecekapan pelaksanaan JavaScript.

Dari laman web ke aplikasi: Aplikasi pelbagai JavaScript Dari laman web ke aplikasi: Aplikasi pelbagai JavaScript Apr 22, 2025 am 12:02 AM

JavaScript digunakan secara meluas di laman web, aplikasi mudah alih, aplikasi desktop dan pengaturcaraan sisi pelayan. 1) Dalam pembangunan laman web, JavaScript mengendalikan DOM bersama -sama dengan HTML dan CSS untuk mencapai kesan dinamik dan menyokong rangka kerja seperti JQuery dan React. 2) Melalui reaktnatif dan ionik, JavaScript digunakan untuk membangunkan aplikasi mudah alih rentas platform. 3) Rangka kerja elektron membolehkan JavaScript membina aplikasi desktop. 4) Node.js membolehkan JavaScript berjalan di sisi pelayan dan menyokong permintaan serentak yang tinggi.

See all articles