asyncio 비동기 코루틴 프레임워크를 기반으로 스테이션 B 실시간 방송 공격 수집에 대한 자세한 소개

이 기사에서는 asyncio 비동기 코루틴 기반 프레임워크를 공유합니다. 간단한 구현 스테이션 B의 생방송 포격 수집 시스템을 디자인하고 소스 코드를 첨부합니다. 도움이 필요한 친구들은 참고하세요

">

서문

제목은 전체 사이트이지만 현재는 레벨

상위 100개 생방송 방에 대한 종일 공세만 수집하고 있습니다.

기존 생방송 탄마쿠지

Python 버전의 Bilibili를 기반으로 탄막 수집 시스템이 수정되었습니다. 구체적인 프로토콜 분석은 이전 글을 참고하세요.

실시간 사격 프로토콜은 TCP 프로토콜을 직접 기반으로 하기 때문에 B 스테이션이 나와 같은 행위에 대해 대응하기가 더 어려울 것입니다. 나와 같은 악의적인 행위를 탐지하려면 내가 모르는 기술적 수단이 있어야 한다.

100개의 방을 동시에 연결하고, 싱글룸을 100번 연결해 보았는데 문제가 없습니다. >150은 닫힙니다.

생방송 방 선택

이제 탄막 수집 시스템은 생방송 방을 선택하는 비교적 간단하며 상위 100레벨을 직접 선택합니다.

이 부분은 향후 수정될 예정이며, 정기적으로 http://live.bilibili.com/all에 접속하여 새로 출시된 라이브 방송방을 확인하고, 동적으로 작업을 추가할 수 있도록 변경될 예정입니다.

비동기 작업 및 사격 저장

수집 시스템은 여전히 ​​asyncio 비동기 코루틴 프레임워크를 사용하여 각 라이브 방송실에 이를 추가합니다. 고리.

danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
task1 = asyncio.ensure_future(danmuji.connectServer())
task2 = asyncio.ensure_future(danmuji.HeartbeatLoop())

사실 하트비트 작업인 HeartbeatLoop를 커넥터 서버에 넣어 시작하면 코드가 더 우아해 보일 것입니다. 하지만 그 이유는 나중에 설명할 작업 목록을 유지해야 하기 때문입니다.

탄막창고를 고르는데 시간을 좀 보냈습니다.

데이터베이스 저장은 동기식 IO 프로세스입니다. 삽입은 사격 수집 작업을 차단합니다. aio

mysql과 같은 비동기식 인터페이스가 있지만 데이터베이스 구성이 너무 번거롭기 때문에 이 작은 시스템은 쉽게 배포할 수 있다고 가정합니다.

결국 내장된 sqlite3을 사용하기로 결정했습니다. 그러나 sqlite3은 병렬 작업을 수행할 수 없으므로 데이터베이스 저장용으로만 스레드를 엽니다. 다른 스레드에서는 100 * 2 작업이 모든 사격 및 인원 수 정보를 수집하여

queue commentq, numq에 넣습니다. 저장소 스레드는 10초마다 깨어나서 대기열의 데이터를 sqlite3에 쓰고 대기열을 지웁니다.

멀티스레딩과 비동기화의 협력으로 네트워크 트래픽이 차단되지 않습니다.

가능한 연결 실패 시나리오 처리

Barrage 프로토콜은 TCP를 직접 기반으로 하며 비트가 서로 직접 관련되어 있으므로 구문 분석 오류가 발생하면 쉽게 던질 수 있습니다

예외 (개인적으로 TCP는 안정적인 전송이지만 B국 서버 자체에 오류가 있을 수 있다.) 따라서 자동 재연결 메커니즘을 설계하는 것이 필요하다.

asyncio 문서에서 언급했듯이

완료는 결과/예외가 가능하거나 미래가 취소되었음을 의미합니다.

함수가 정상적으로 반환되거나 에서 예외가 발생하거나 취소되면 현재 작업이 종료됩니다. done()을 사용하여 확인할 수 있습니다.

각 생방송 방은 두 가지 작업에 해당합니다. 분석 작업은 가장 실패하기 쉽지만 하트비트 작업에는 영향을 미치지 않으므로 해당 하트비트 작업을 찾아 종료해야 합니다.

작업 생성 시 사전을 이용하여 각 방의 두 작업을 기록해두세요,

self.tasks[url] = [task1, task2]

실행 과정에서 10초마다 확인을 하세요,

for url in self.tasks:
  item = self.tasks[url]
  task1 = item[0]
  task2 = item[1]
  if task1.done() == True or task2.done() == True:
    if task1.done() == False:
      task1.cancel()
    if task2.done() == False:
      task2.cancel()
    danmuji = bilibiliClient(url, self.lock, self.commentq, self.numq)
    task11 = asyncio.ensure_future(danmuji.connectServer())
    task22 = asyncio.ensure_future(danmuji.HeartbeatLoop())
    self.tasks[url] = [task11, task22]

사실 미션 실패 시나리오는 딱 한 번 봤습니다. 호스트 방이 막혀서 생방송 방에 들어갈 수 없었거든요.

결론

1. B 스테이션의 인원 수는 탄막 서버에 연결되는 링크 수를 기준으로 계산됩니다. 링크 수를 조작하면 시청자 수를 즉시 늘릴 수 있습니다. 비즈니스 기회가 있습니까?

2. 지난 며칠 동안 운영한 결과 대부분의 객실이 라이브 방송이 아니더라도 이른 아침 시간을 포함해 5명 이상이 있을 수 있다는 사실을 발견했습니다. 나처럼 24시간 내내 포탄을 모으는 사람이 있다는 걸 짐작할 수 있을 뿐이다.

3. Top100 일일 평균 4천만 탄막 데이터입니다.

4. 모은 탄막으로 무엇을 할 수 있나요? 아직 생각해본 적은 없는데, 사용자 행동 분석에 활용해도 좋을 것 같아요 -_^

위 내용은 asyncio 비동기 코루틴 프레임워크를 기반으로 스테이션 B 실시간 방송 공격 수집에 대한 자세한 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!