Koa服務限流方法實例

限流的要求是，限制同時執行的數目，超出這個數目後要在一個佇列中進行快取。本文主要介紹了淺談Koa服務限流方法實踐，小編覺得蠻不錯的，現在分享給大家，也給大家做個參考。一起跟著小編過來看看吧，希望能幫助大家。

最近接了一個需求，很簡單，就是起一個server，收到請求時調用某個提供好的接口，然後把結果返回。因為這個介面的效能問題，同時在請求的不能超過特定數目，要在服務中進行限流。

koa 中間件不呼叫 next

最初的想法是在 koa 中間件中進行計數，超過6個時將next函數快取下來。等正在進行中的任務結束時，呼叫next繼續其他請求。

之後發現 koa 中間件中，不執行next函數請求並不會停下，而是不再呼叫之後的中間件，直接回傳內容。

const Koa = require('koa');
const app = new Koa();
app.use((ctx, next) => {
 console.log('middleware 1');
 setTimeout(() => {
  next();
 }, 3000);
 ctx.body = 'hello';
});
app.use((ctx, next) => {
 console.log('middleware 2');
});
app.listen(8989);

以上程式碼先在控制台打出 ‘middleware 1' => 瀏覽器收到 ‘hello' => 控制台打出 ‘middleware 2'。

這裡還有一個要注意的地方，就是一個請求已經結束（finish）後，他的next方法還是可以繼續調用，之後的middleware還是繼續運行的（但是對ctx的修改不會生效，因為請求已經回傳了）。同樣，關閉的請求（close）也是同樣的表現。

使用 await 讓請求進行等待

延遲next函數執行不能達到目的。接下來自然想到的就是使用await讓當前請求等待。 await的函數傳回一個Promise，我們將這個Promise中的resolve函數儲存到佇列中，延遲呼叫。

const Koa = require('koa');
const app = new Koa();
const queue = [];
app.use(async (ctx, next) => {
 setTimeout(() => {
  queue.shift()();
 }, 3000);
 await delay();
 ctx.body = 'hello';
});
function delay() {
 return new Promise((resolve, reject) => {
  queue.push(resolve);
 });
}
app.listen(8989);

上面這段程式碼，在delay函數中傳回一個Promise，Promise的resolve函數存入隊列中。設定定時3s後執行佇列中的resolve函數，使請求繼續執行。

針對路由進行限流，還是針對請求進行限流？

限流的基本原理實現後，下面一個問題就是限流程式碼該寫在哪裡？基本上，有兩個位置：

針對介面進行限流

由於我們的需求中，限流是因為要請求介面的效能有限。所以我們可以單獨針對這個請求進行限流：

async function requestSomeApi() {
 // 如果已经超过了最大并发
 if (counter > maxAllowedRequest) {
  await delay();
 }
 counter++;
 const result = await request('http://some.api');
 counter--;
 queue.shift()();
 return result;
}

下面還有一個方便重複使用的版本。

async function limitWrapper(func, maxAllowedRequest) {
 const queue = [];
 const counter = 0;
 return async function () {
  if (counter > maxAllowedRequest) {
   await new Promise((resolve, reject) => {
    queue.push(resolve);
   });
  }
  counter++;
  const result = await func();
  counter--;
  queue.shift()();
  return result;
 }
}

針對路由進行限流

這種方式是寫一個koa中間件，在中間件中進行限流：

async function limiter(ctx, next) => {
 // 如果超过了最大并发数目
 if (counter >= maxAllowedRequest) {
  // 如果当前队列中已经过长
  await new Promise((resolve, reject) => {
   queue.push(resolve);
  });
 }
 store.counter++;
 await next();
 store.counter--;
 queue.shift()();
};

之後針對不同路由在router中使用這個中間件就好了：

router.use('/api', rateLimiter);

比較

實現了針對接口進行限流，覺得邏輯有些亂，於是改用了針對路由進行限流，一切運行的很完美。

直到我又接了個需求，是要請求三次這個介面回傳三次請求的結果陣列。現在問題來了，我們不能直接呼叫接口，因為要限流。也不能直接呼叫請求介面的函數因為我們的限流是以路由為單位的。那怎麼辦呢？我們只有請求這個路由了，自己請求自己。 。 。

要注意的地方

監聽close事件，將請求從佇列中移出
已經儲存在佇列中的請求，有可能遇到使用者取消的情況。前面說過koa中即使請求取消，之後的中間件還是會運行，也就是還會執行需要限流的接口，造成浪費。

可以監聽close事件來達到這個目的，每個請求我們需要用hash值來標記：

ctx.res.on('close', () => {
 const index = queue.findIndex(item => item.hash === hash);
 if (index > -1) {
  queue.splice(index, 1);
 }
});

設定超時時間

為了防止使用者等待過長時間，需要設定超時時間，這在koa中很容易實現：

const server = app.listen(config.port);
server.timeout = DEFAULT_TIMEOUT;

當前隊列已經過長

如果當前隊列已經過長了，即使加入隊列中也會超時。因此我們還需要處理佇列過長的情況：

if (queue.length > maxAllowedRequest) {
 ctx.body = 'error message';
 return;
}

相關推薦：

#Java架構師之路--限流技術與各類程式語言

nginx限流演算法

使用redis 做限流

#

以上是Koa服務限流方法實例的詳細內容。更多資訊請關注PHP中文網其他相關文章！