首頁 > 科技週邊 > 人工智慧 > 使用ChatGPT快速上手ElasticSearch dsl

使用ChatGPT快速上手ElasticSearch dsl

WBOY
發布: 2023-06-13 15:20:51
轉載
834 人瀏覽過

借助ChatGPT快速上手ElasticSearch dsl

作為一個SQL玩家,接觸到ElasticSearch 以後,被其dsl奇奇怪怪的寫法所困擾,比如bool should filter 什麼場景下應該嵌套,什麼時候bool query是必須的,什麼時候可以幹掉。排查問題時,不可避免地需要手寫dsl,經常收到ES報錯。

為了解決這個問題,我嘗試讓ChatGPT幫我翻譯,效果還不錯。下面我們就按照場景來看。

場景一: 清單模糊查詢

在B端後台系統的清單頁裡,我們通常可以看到很多篩選框。產品經理經常把按 ID 和 Name 模糊匹配的功能放到一個篩選框,名曰「更好的使用者體驗」。如果用SQL寫的話,非常簡單:

select * from user where client_id = 123 anduser_id like '%张三%' or user_name like '%张三%';
登入後複製

如果儲存在MySQL,加上client_id索引就可以大幅減少篩選出的資料量,效能不會太差。

如果資料量非常大,那就用ES吧。我們可以對ChatGPT這樣提問:

提問開始:

ES index 名字"user",有三個欄位

  1. #user_id string
  2. user_name string
  3. client_id int

#我要查詢帶有以下條件的記錄:client_id = 123 and (user_name = '張三' or user_id = '張三')。 dsl該怎麼寫?

回覆開始:

要查詢"user" 索引中符合下列條件的記錄:client_id = 123 and (user_name = '張三' or user_id = '張三'),可以使用bool 查詢結合term 查詢來實現。以下是對應的 DSL 查詢範例:

GET /user/_search{"query": {"bool": {"filter": [{"term": {"client_id": 123}},{"bool": {"should": [{"term": {"user_name": "张三"}},{"term": {"user_id": "张三"}}]}}]}}}
登入後複製

在這個查詢中,我們使用了 bool 查詢來確保指定的條件被用於過濾文件。

在 filter 子句中,我們有兩個條件:一個是針對 "client_id" 欄位的值為 123 的條件,使用了 term 查詢。第二個條件是巢狀的 bool 查詢,其中包含一個 should 子句。 should 子句中包含了兩個 term 查詢:一個是針對 "user_name" 字段,另一個是針對 "user_id" 字段,它們都檢查值是否為 "張三"。透過使用 should 子句,我們表示其中任一條件匹配即可。

這個 DSL 查詢將傳回滿足 client_id 為 123,且使用者名稱為 "張三" 或使用者ID為 "張三" 的文件記錄。

回覆結束:

ChatGPT 不只給了答案,也給了解釋,我們針對業務裡的index做修改就好。

場景二: 根據聚合結果進行過濾having

基於上面的user 表,我們再加一個ticket_id 字段,表示處理過的工單,我們要查出處理工單超過100個的用戶。 SQL可以這樣寫:

select user_id, max(user_name) as user_name,count(ticket_id) as ticket_cnt from user where client_id = 123having count(ticket_id) > 100;
登入後複製

向ChatGPT提問:

提問開始:

ES index 名字"user",包含以下欄位:

  1. user_id string
  2. user_name string
  3. #client_id int
  4. ticket_id

#依照user_id 聚合,查詢count(ticket_id) > 100 的user_id,以及user_id對應的user_name

回覆開始:
要依照"user_id" 欄位進行聚合,並查詢符合條件count(ticket_id) > 100 的"user_id",以及對應的" user_name",可以使用聚合查詢中的terms 聚合和bucket_selector 管道聚合來實現。以下是對應的 DSL 查詢範例:

#
GET /user/_search{"size": 0,"aggs": {"users": {"terms": {"field": "user_id","size": 10,"min_doc_count": 101// 设置最小文档数,只返回 count(ticket_id) > 100 的聚合结果},"aggs": {"user_name": {"terms": {"field": "user_name","size": 1}},"ticket_count": {"value_count": {"field": "ticket_id"}},"bucket_filter": {"bucket_selector": {"buckets_path": {"count": "ticket_count"},"script": "params.count > 100"// 仅保留 count(ticket_id) > 100 的聚合桶}}}}}}
登入後複製

在这个查询中,我们使用了 terms 聚合对 "user_id" 字段进行分组,并在聚合结果中嵌套了 user_name 字段的 terms 聚合和 ticket_id 字段的 value_count 聚合。

在 terms 聚合中,我们设置了 min_doc_count 参数为 101,以仅返回满足 count(ticket_id) > 100 的聚合桶。这样可以过滤掉不满足条件的聚合结果。

最终,我们使用 bucket_selector 管道聚合来进行桶过滤,仅保留满足条件 params.count > 100 的聚合桶。这样,最终的聚合结果中将只包含满足条件的 "user_id" 和对应的 "user_name"。

请注意,根据您的具体需求,您可能需要根据实际情况调整聚合查询中的参数和设置,如设置合适的 size 值来控制返回的聚合桶数量等。

回复结束。

场景三: 聚合以后取topK

向ChatGPT提问:

提问开始:

ES index 名字 "user",包含以下字段:

  1. user_id string
  2. user_name string
  3. client_id int
  4. ticket_id

我要查询处理ticket数量top10 的 user_id 以及对应的user_name

回复开始:
要查询处理 ticket 数量排名前 10 的 "user_id",以及对应的 "user_name",可以使用 terms 聚合和 top_hits 子聚合来实现。以下是相应的 DSL 查询示例:

GET /user/_search{"size": 0,"aggs": {"top_users": {"terms": {"field": "user_id","size": 10,"order": {"ticket_count": "desc"}},"aggs": {"user_name": {"terms": {"field": "user_name","size": 1}},"ticket_count": {"value_count": {"field": "ticket_id"}},"top_user_hits": {"top_hits": {"size": 1}}}}}}
登入後複製

在这个查询中,我们使用了 terms 聚合对 "user_id" 字段进行分组,并按照 "ticket_count" 字段的降序对分组结果进行排序。

在 terms 聚合中,我们设置了 size 参数为 10,以仅返回前 10 个处理 ticket 数量最多的 "user_id"。

在每个聚合桶中,我们还嵌套了 user_name 字段的 terms 聚合和 ticket_id 字段的 value_count 聚合,分别用于获取对应的 "user_name" 和计算 ticket 数量。

此外,我们使用了 top_hits 子聚合来获取每个聚合桶中的匹配文档的详细信息。在这里,我们设置了 size 参数为 1,以仅获取每个聚合桶中的一条文档信息。

最终,聚合查询的结果将包含处理 ticket 数量排名前 10 的 "user_id",对应的 "user_name",以及每个用户最新的一条文档信息。

请注意,根据实际情况,您可能需要根据具体需求调整聚合查询中的参数和设置,如设置合适的 size 值来控制返回的聚合桶数量,以及添加其他的聚合或过滤条件等。

回复结束。

本着快速出活/快速解决问题的心态,ChatGPT确实提升了工作效率。不过在解决需求之后,还是要补补课,了解下ElasticSearch的用法和工作机制。因为ChatGPT是语言模型,一旦逻辑复杂起来,ChatGPT就开始瞎说了。

以上是使用ChatGPT快速上手ElasticSearch dsl的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板