這篇文章為大家帶來了關於Redis的相關知識,其中主要介紹了關於Redis熱點key大Value解決方案的相關問題,下面一起來看一下,希望對大家有幫助。
推薦學習:Redis影片教學
#關於Redis 熱點資料& 大key 大value 問題也是容易被問到的高階問題,不如一次痛快點學完,讓面試官無話可說,個人工作經驗中,熱點數據問題在工作中相比雪崩更容易遇到,只是大部分時候熱點不夠熱,都會被提前告警解決,但這個問題一旦控制不了造成的線上問題也是足夠讓你今年績效墊底了,廢話不說進入正題。
正常情況下,Redis 叢集中資料都是均勻分配到每個節點,請求也會均勻的分佈到每個分片上,但在一些特殊場景中,例如外部爬蟲、攻擊、熱點商品等,最典型的就是明星在微博上宣布離婚,吃瓜群眾紛紛湧入留言,導致微博評論功能崩潰,這種短時間內某些key 訪問量過於大,對於這種相同的key 會請求到同一台資料分片上,導致此分片負載較高成為瓶頸問題,導致雪崩等一系列問題。
問題分析:上次聽群組裡大佬面試阿里p7 就被問到這個問題,難度指數五顆星,對我等小白著實是加分項。
答:關於熱點資料問題我有話要說,這個問題我早在剛學習使用Redis 時就從已經意識到了,所以在使用時會刻意避免,堅決不會為自己挖坑,熱點資料最大的問題會造成Reids 叢集負載不均衡(也就是資料傾斜)導致的故障,這些問題對於Redis 叢集都是致命打擊。
先說造成Reids 叢集負載不均衡故障的主要原因:
那麼熱點key 或大Value 會造成哪些故障呢:
答:這個問題的解決方法比較寬泛,要具體看不同業務場景,例如公司組織促銷活動,那參加促銷的商品肯定是有辦法提前統計的,這種場景就可以通過預估法。對於突發事件,不確定因素,Redis 會自行監控熱點資料。大概歸納下:
public Connection sendCommand(final ProtocolCommand cmd, final byte[]... args) { //从参数中获取key String key = analysis(args); //计数 counterKey(key); //ignore }
Redis 叢集代理層統計:
像Twemproxy,codis 這些基於代理的Redis 分散式架構,統一的入口,可以在Proxy 層做收集上報,但是缺點很明顯,並非所有的Redis 叢集架構都有proxy。
Redis 服務端收集:
監控Redis 單一分片的QPS,發現QPS 傾斜到一定程度的節點進行monitor,取得熱點key, Redis 提供了monitor命令,可以統計出一段時間內的某Redis 節點上的所有命令,分析熱點key,在高並發條件下,會存在內存暴漲和Redis 性能的隱患,所以此種方法適合在短時間內使用;同樣只能統計一個Redis 節點的熱點key,對於叢集需要總計統計,業務角度講稍微麻煩一點。
以上為說的這 4 個方法都是現在業界比較常用的,方法,我透過學習 Redis 原始碼還有一個新的想法。第 5 種:修改 Redis 原始碼。
修改Redis 原始碼:(從讀取原始碼想到的想法)
我發現Redis4.0 為我們帶來了許多新特性,其中便包含基於LFU 的熱點key 發現機制,有了這個新特性,我們就可以在此基礎上實現熱點key 的統計,這個只是我的個人思路。
面試官心理:小伙子還挺有想法,思路挺開闊,還打起了修改源碼的注意,我都沒這個野心。團隊裡就需要這樣的人。
(發現問題,分析問題,解決問題,不等面試官發問,直接講述如何解決熱點數據問題,這才是核心內容)
答:關於如何治理熱點資料問題,解決這個問題主要從兩個面向考慮,第一是資料分片,讓壓力均攤到群集的多個分片上,防止單一機器打掛,第二是遷移隔離。
概括總結:
面試官:你回答得很好,考慮得很全面。
問題分析:比起熱點key 大概念,大Value 的概念比好好理解,由於Redis 是單執行緒運行的,如果一次操作的value 很大會對整個redis 的回應時間造成負面影響,因為Redis 是Key - Value 結構資料庫,大value 就是單一value 佔用記憶體較大,對Redis 叢集造成最直接的影響就是資料傾斜。
答:(想倒我?我可是有備而來。)
我先說多大的Value 算大,根據公司基礎架構給出的經驗值可做以下劃分:
註:(經驗值不是標準,都是根據集群維運人員長期觀察線上case 總結出來的)
由於Redis 是單執行緒運行的,如果一次操作的value 很大會對整個redis 的回應時間造成負面影響,所以,業務上能拆則拆,下面舉幾個典型的分拆方案:
类似于场景一中的第一个做法,可以将这些元素分拆。
以 hash 为例,原先的正常存取流程是:
hget(hashKey, field); hset(hashKey, field, value)
现在,固定一个桶的数量,比如 10000,每次存取的时候,先在本地计算 field 的 hash 值,模除 10000,确定该 field 落在哪个 key 上,核心思想就是将 value 打散,每次只 get 你需要的。
newHashKey = hashKey + (hash(field) % 10000); hset(newHashKey, field, value); hget(newHashKey, field)
推荐学习:Redis学习教程
以上是一起分析Redis熱點數據問題解決方案的詳細內容。更多資訊請關注PHP中文網其他相關文章!