AI 면접로봇 백엔드 아키텍처 실습

01 소개

AI 인터뷰 로봇은 Lingxi 지능형 음성 의미 플랫폼의 인간-기계 음성 대화 기능을 사용하여 채용 담당자와 구직자 간의 여러 라운드 음성 통신을 시뮬레이션하여 온라인 인터뷰 효과를 달성합니다. 본 글에서는 AI 면접 로봇의 백엔드 아키텍처 구성, 대화 엔진 설계, 자원 수요 추정 전략, 서비스 성능 최적화 방법 등을 자세히 설명한다. AI 면접 로봇은 온라인에 접속한 지 1년이 넘었으며 수백만 건의 면접 요청을 받아 채용 담당자의 채용 효율성과 구직자의 면접 경험을 크게 향상시켰습니다.

02 프로젝트 배경

58 도시생활 서비스 플랫폼에는 부동산, 자동차, 채용, 지역 서비스(옐로우 페이지) 등 4대 주요 사업이 포함되어 있습니다. 이 플랫폼은 다수의 C-side 사용자와 B-side 가맹점을 연결합니다. B-side 판매자는 주택, 자동차, 일자리, 생활 서비스 등 다양한 유형의 정보(우리는 이를 "게시물"이라고 함)를 플랫폼에 게시할 수 있습니다. 플랫폼은 이러한 게시물을 C-side 사용자에게 배포하여 열람할 수 있도록 합니다. 필요한 정보를 얻을 수 있도록 돕고 B면 판매자가 대상 고객을 확보할 수 있도록 정보를 배포 및 전파합니다. 개인화된 추천, 지능형 연결 등의 측면에서 제품 혁신을 수행합니다.

채용을 예로 들면, 2020년 전염병의 영향으로 기존의 오프라인 채용 인터뷰 방식이 크게 영향을 받았습니다. WeChat, 비디오 등을 통한 구직자의 온라인 인터뷰 요청 수가 급격히 증가했습니다. 면접관은 동시에 한 명의 구직자와만 온라인 화상면접 채널을 구축할 수 있어 구직자와 채용 담당자 간 연결 성공률이 낮습니다. 구직자의 사용자 경험을 개선하고 채용 담당자의 인터뷰 효율성을 향상시키기 위해 58.com TEG AI Lab은 채용 비즈니스 라인과 같은 여러 부서와 협력하여 지능형 채용 인터뷰 도구인 Magic Interview Room을 만들었습니다. 제품은 주로 클라이언트, 오디오 및 비디오 통신, AI 인터뷰 로봇의 세 부분으로 구성됩니다(참조: People | Li Zhong: AI 인터뷰 로봇이 지능형 채용을 만듭니다).

이 기사에서는 주로 AI 인터뷰 로봇에 중점을 둘 것입니다. AI 인터뷰 로봇은 Lingxi 지능형 음성 의미 플랫폼의 인간-기계 음성 대화 기능을 사용하여 채용 담당자와 구직자 간의 여러 라운드 음성 통신을 시뮬레이션합니다. 온라인 인터뷰의 효과. 한편으로는 한 명의 채용 담당자가 한 명의 구직자의 온라인 인터뷰 요청에만 응답할 수 있는 문제를 해결하여 채용 담당자의 업무 효율성을 향상시키는 한편, 구직자의 요구 사항에 관계없이 비디오 인터뷰를 수행할 수 있습니다. 시간과 장소에 대한 설명과 동시에 개인 이력서를 기존 이력서에서 변경할 수 있습니다. 텍스트 설명 소개는 보다 직관적이고 생생한 비디오 자기 소개로 변환됩니다. 이 글에서는 AI 인터뷰 로봇의 백엔드 아키텍처, 인간-기계 음성 대화 엔진의 설계, 트래픽 증가에 대처하기 위한 자원 요구량 예측 방법, 안정성을 보장하기 위한 서비스 성능 최적화 방법에 대해 자세히 설명합니다. AI면접로봇 서비스 전반의 가용성.

03 AI 인터뷰 로봇 백엔드 아키텍처

AI 인터뷰 로봇 아키텍처는 다음을 포함하여 위 그림에 나와 있습니다.

1 액세스 레이어: 주로 합의된 업스트림 및 다운스트림과의 상호 작용을 처리하는 데 사용됩니다. 오디오 및 비디오 터미널 프로토콜과의 통신 인터뷰 중 사용자 초상화를 추출하고 로봇 사용자 상호 작용 타임라인 정보를 추출하여 채용 부서에 보냅니다.

2. 로직 레이어: 로봇의 질문 텍스트를 음성 데이터로 합성하여 사용자에게 전송하고 로봇이 "말"할 수 있도록 사용자에게 질문하는 등 로봇과 사용자 간의 대화 상호 작용을 처리하는 데 주로 사용됩니다. 사용자가 응답한 후 사용자의 응답 음성 데이터는 VAD(음성 활동 감지)를 통해 분할되고 스트리밍 음성은 텍스트로 인식되어 로봇이 이를 "들을" 수 있도록 하며 대화 엔진은 사용자의 응답 내용을 기반으로 결정합니다. 답변 텍스트와 대화 스킬을 활용한 후 음성을 합성해 사용자에게 전송함으로써 로봇과 사용자 사이의 '소통'을 구현한다.

3. 데이터 레이어: 음성 다이어그램, 대화 기록, 주석 정보 등 기본 데이터를 저장합니다.

4. 웹 시스템: 담화 구조, 대화 전략을 시각적으로 구성하고 인터뷰 대화 데이터에 주석을 답니다.

04 AI 면접 로봇과 사용자 간의 전반적인 상호작용 과정

완전한 AI 면접 과정은 위 그림과 같으며, 면접 전, 면접 중 3단계로 나눌 수 있습니다. , 그리고 인터뷰 후.

인터뷰 전: 가장 중요한 것은 AI 인터뷰 로봇과 오디오 및 비디오 단말기 사이의 음성 신호가 UDP를 통해 전송되는 것입니다. 영상과 AI 면접 로봇을 동적으로 유지해야 한다. 오디오 및 비디오 끝은 SCF(SCF는 58에서 독립적으로 개발한 RPC 프레임워크) 인터페이스를 통해 인터뷰 요청을 시작합니다. 한편, 요청은 후속 작업을 위해 실시간으로 AI 인터뷰 로봇으로부터 IP 및 포트 리소스를 동적으로 얻습니다. 인터뷰 과정의 오디오 및 비디오 수집 음성 신호는 AI 로봇에 전송됩니다. 반면 AI 로봇은 사용자의 음성 신호에 응답하여 전송해야 할 IP와 포트를 알려줍니다. SCF는 로드 밸런싱을 지원하므로 오디오 및 비디오 끝에서 시작된 인터뷰 요청은 클러스터의 특정 머신에서 AI 인터뷰 로봇 서비스에 무작위로 전달되며 이 머신의 AI 인터뷰 로봇은 IP를 획득하고 SCF 투명 전송 매개변수를 통해 오디오 및 비디오 터미널의 포트 다음으로 AI 인터뷰 로봇 서비스는 먼저 사용 가능한 포트 대기열(서비스 초기화 중에 생성됨)에서 선택을 시도합니다. 사용 가능한 포트 쌍을 저장하는 대기열 데이터 구조의 송신 포트 및 수신 포트) 획득에 성공하면 서비스는 SCF 인터뷰를 통해 이 시스템의 IP 및 포트를 전달합니다. 비디오가 끝나면 두 당사자는 UDP 통신을 수행할 수 있습니다. 인터뷰가 완료된 후 서비스는 포트 쌍을 사용 가능한 포트 대기열에 푸시합니다. 포트 쌍 획득에 실패하면 서비스는 SCF 인터페이스를 통해 오디오 및 비디오 터미널에 통신 실패 코드를 반환합니다. 오디오 및 비디오 터미널은 인터뷰 요청을 다시 시도하거나 포기할 수 있습니다.

통신 프로세스 확립:

음성 신호 전송 프로세스에서 우리는 시스템의 오디오 미디어 프로토콜로 RTP 프로토콜을 사용합니다. RTP 프로토콜, Real-time Transport Protocol은 IP를 통해 실시간 전송이 필요한 음성, 이미지, 팩스 등 다양한 멀티미디어 데이터에 대해 End-to-End 실시간 전송 서비스를 제공합니다. RTP 메시지는 헤더와 페이로드의 두 부분으로 구성됩니다.

RTP 헤더:

속성 설명:

속성	설명
V	RTP 프로토콜 버전의 버전 번호, 회계 2자리의 경우 현재 프로토콜 버전 번호는 2
P	입니다. 채우기 플래그는 1비트를 차지하며, P=1인 경우 메시지의 꼬리는 하나 이상의 추가 8비트로 채워집니다. 배열, 유효하지 않습니다. 로드의 일부
X	확장 플래그는 1비트를 차지합니다.
M	표시 수는 1개 위치를 차지합니다. 비디오의 경우 프레임의 끝을 표시합니다. 오디오, 세션의 시작을 표시합니다.
PT	페이로드 유형은 7비트를 차지하며 오디오, 이미지 등 RTP 메시지의 페이로드 유형을 설명하는 데 사용됩니다. 스트리밍 미디어에서는 주로 다음과 같은 용도로 사용됩니다. 오디오 스트림을 구별하고 클라이언트가 비디오 스트림을 구문 분석하기 쉽습니다.
순서 번호	는 16비트를 차지하며 보낸 사람이 보낸 RTP 메시지의 순서 번호를 식별하는 데 사용됩니다. 메시지가 전송될 때마다 순서 번호가 1씩 증가합니다. 하위 레이어 베어러 프로토콜이 UDP를 사용하는 경우, 네트워크 상태가 좋지 않을 때 패킷 손실을 확인하는 데 이 필드를 사용할 수 있습니다. 동시에 네트워크 지터를 사용하여 데이터를 재정렬할 수 있습니다.
타임 스탬프	는 RTP 메시지의 첫 번째 옥텟의 샘플링 시간을 반영하는 32비트를 차지합니다. 수신자는 타임스탬프를 사용하여 지연 및 지연 지터를 계산하고 동기화 제어를 수행할 수 있습니다.
SSRC	이 식별은 동일한 화상 회의에 참여하는 두 개의 동기화 소스가 동일한 SSRC를 가질 수 없습니다
CSRC	각 CSRC 식별자는 32비트를 차지하며 0~15를 가질 수 있습니다. 각 CSRC는 RTP 메시지 페이로드에 포함된 모든 권한 있는 소스를 식별합니다.

인터뷰 진행 중: 이 과정에서 AI 인터뷰 로봇은 먼저 오프닝 멘트를 tts(Text To Speech)를 통해 음성 데이터로 합성하여 전송합니다. 사용자가 듣는 질문을 기반으로 합의된 IP 및 포트에 대해 AI 인터뷰 로봇이 수신된 사용자 음성 스트림을 디코딩하고 이를 VAD 분할 및 스트리밍 음성 인식을 통해 텍스트로 변환합니다. 대화 엔진은 사용자의 응답 텍스트와 음성 구조 상태도를 기반으로 응답 내용을 결정합니다. AI 인터뷰 로봇은 대화가 끝나거나 사용자가 인터뷰를 끊을 때까지 사용자와 지속적으로 상호 작용합니다.

면접 종료 후: AI 면접 로봇이 면접 종료를 위한 음성 및 영상 요청을 받으면 AI 면접 로봇은 포트, 스레드 등 면접 준비 단계에서 적용된 자원을 재활용합니다. ; 사용자의 초상화를 구축합니다(사용자의 가장 빠른 도착 시간, 직업 참여 여부, 나이 등의 정보 포함)는 판매자가 인터뷰 대화를 선별하고 녹음하고 저장할 수 있도록 채용 담당자에게 제공됩니다.

녹화 계획 :

05 대화 엔진 핵심 기능

전체 인터뷰 과정에서 AI 인터뷰 로봇과 사용자 상호 작용은 대화가 지향되는 대화 프로세스를 기반으로 대화 엔진에 의해 구동됩니다. 비순환 그래프. 처음에는 대화 그래프가 2가지 대화(모든 노드의 모서리

따라서 사용자의 대화 의지를 향상시키고 로봇의 지능형 대화 능력을 향상시키기 위해 음성 구조를 재구성하고 그림과 같이 다중 분기 음성(노드의 가장자리 >= 3)을 설계했습니다. 아래에서는 사용자 연령, 학력, 성격에 따라 사용자의 다양한 말하기 능력에 맞춰 개인화된 방식으로 응답할 수 있습니다. 새로운 말하기 구조가 출시된 후 인터뷰 완료율이 50%를 넘었습니다.

동시에 대화 전략을 보다 세밀하게 설계하기 위해 전략 체인에 노드 수준 전략 체인을 설계하여 단일 노드에 대한 개인화된 대화 전략을 사용자 정의할 수 있습니다. 개인화된 대화 요구를 충족합니다.

데이터 수준: 다중 분기 음성을 실현하기 위해 음성과 관련된 데이터 구조를 재설계하고 음성 테이블, 음성 노드, 음성 에지 등 일부 데이터 개체를 추상화했습니다. Hua Shu 노드는 Hua Shu 번호를 통해 Hua Shu에 바인딩되며 동시에 Hua Shu 텍스트 및 기타 속성을 유지합니다. Hua Shu 가장자리는 시작 노드와 끝 노드를 포함하여 노드 간의 토폴로지 관계를 유지합니다. 에지 번호를 통해 에지는 규칙성, 말뭉치 및 기타 규칙에 도달하며 에지 ID를 사용하여 이 에지에 대한 고유한 규칙을 사용자 지정할 수 있습니다. 정책 체인은 정책 체인 번호를 통해 서로 다른 정책을 묶고, 단어와 노드는 정책 체인 번호를 통해 서로 다른 정책 체인을 묶습니다.

코드 수준: 에지, 노드, 음성 클래스 및 음성 상태 클래스의 개념이 추상화됩니다. 에지와 노드는 데이터 계층의 매핑이며 규칙성 및 코퍼스와 같은 히트 로직도 에지에서 유지됩니다. 음성 클래스는 오프닝 노드 및 음성 그래프와 같은 핵심 정보를 유지합니다. 음성 그래프는 전체 음성 토폴로지의 매핑이며 이 노드에서 시작하는 노드 및 가장자리 집합 간의 매핑을 유지합니다. 클래스는 Hua Shu 클래스 및 현재 노드를 포함하여 음성의 현재 상태를 유지하며, 시스템은 Hua Shu의 현재 노드(인접 목록과 유사)를 기반으로 Hua Shu 그래프에서 이 노드에서 시작하는 모든 에지를 얻을 수 있습니다. 사용자의 현재 응답을 기반으로 다른 가장자리의 규칙을 일치시킵니다. 히트가 있는 경우 음성 그래프는 히트 가장자리의 끝 노드로 흐르고 로봇의 응답 내용은 이 노드에서 획득되며 음성 구조는 다음과 같습니다. 흐를 것입니다.

다이어그램 데이터 구조:

위의 데이터 구조를 통해 시스템 플랫폼은 비즈니스 측의 음성 맞춤화 요구에 신속하게 대응할 수 있습니다. 예를 들어 채용 담당자는 각 채용 직책에 대한 질문을 음성에서 가상 노드로 추상화하고 가상을 사용합니다. 가상 노드를 연결하는 가장자리를 연결하여 수천 명의 사람들의 효과를 달성하기 위해 다양한 직위에 대한 개인화된 인터뷰 질문을 제공합니다.

06 서비스 성과 최적화 실습

마법의 면접실이 온라인화 이후 좋은 결과를 얻었습니다. 따라서 비즈니스 측면에서는 AI 면접 로봇이 온라인에서 1,000명 이상을 빠르게 지원해야 합니다. 동시에 자원 관리 및 자원 추정부터 시작하여 성능 테스트, 모니터링 등 4가지 측면에 중점을 두고 실제 온라인 사용 시 AI 면접 로봇 서비스의 성능을 효과적으로 향상시켰습니다. 최적화 전 대비 20배 향상된 면접 요청을 동시에 받을 수 있도록 최적화된 서비스입니다.

자원 관리 솔루션: 서비스에 사용되는 자원을 보다 효율적으로 관리하고 자원 고갈을 방지하기 위해 아래와 같이 자원 관리 솔루션을 설계했습니다. 우선, AI 인터뷰 로봇과 오디오 및 비디오는 SCF를 통해 통신 프로토콜에 동의합니다. SCF는 로드 밸런싱되어 있기 때문에 호출자의 요청은 클러스터 내의 특정 머신에 무작위로 전달됩니다. 서비스 인스턴스 1에 도달합니다. 통신 프로토콜은 이 인터뷰의 상호 작용이 인스턴스에 바인딩될 수 있습니다. 다음으로 세션의 개념이 추상화됩니다(코드 수준은 세션 클래스이고 각 세션은 스레드입니다). 이번 인터뷰에서는 송신 및 수신 포트, 프로그래밍 등 디코딩 클래스와 다양한 스레드 리소스가 세션에 등록되어 있으며, 코드는 세션이 해제될 때 세션에 등록된 리소스가 해제되도록 보장합니다. 비디오 인터뷰는 스레드 격리를 통해 리소스 격리를 달성하므로 리소스 관리가 용이해집니다.

동시에 세션 인스턴스는 세션 ID(전역적으로 고유한 통신 프로토콜을 통해 호출자가 동의함)를 통해 세션 컨테이너에 바인딩됩니다. 사용자가 전화를 끊으면 SCF가 호출되어 리소스를 해제합니다. SCF의 무작위성으로 인해 요청이 서비스 인스턴스 3에 도달할 수 있습니다. 인스턴스 3에는 그러한 인터뷰 세션이 없습니다. 리소스를 해제하기 위해 WMB(Wuba Tongcheng)를 사용합니다. 자체 개발된 메시지 큐) ) 이 리소스 릴리스 메시지를 브로드캐스트하고, 메시지 본문에 세션 ID가 포함되어 있으며, 모든 서비스 인스턴스가 이 메시지를 사용하고, 서비스 인스턴스 1이 세션 ID를 포함하고, 세션 ID에 바인딩된 세션을 찾고, 리소스 릴리스를 호출합니다. 세션 기능에서는 리소스가 해제됩니다(나머지 인스턴스는 메시지를 삭제합니다).

어떤 이유로 릴리스 요청이 실행되지 않는 경우 세션 컨테이너에는 세션 컨테이너에 있는 모든 세션의 수명 주기를 검색하고 세션의 최대 수명 주기(예: 10분)를 설정할 수 있는 세션 모니터링 스레드가 있습니다. 세션이 만료되면 세션 리소스 재활용을 적극적으로 트리거하고 세션 리소스를 해제합니다. 동시에 세션에 적용되는 스레드, 포트 등 제한된 리소스에 대해 중앙 관리를 사용하고 스레드 풀을 사용하여 스레드를 중앙에서 관리하고 사용 가능한 모든 포트를 대기열에 넣고 대기열에 남아 있는 포트를 모니터링하여 서비스의 안정성과 가용성을 보장합니다.

기계 자원 추정:

Thread

제한된 자원

병목 문제

임시 자원 세션에서 요청한

포트, 스레드, 코덱 및 기타 리소스와 같은 임시 리소스를 시간에 맞춰 재활용할 수 있는지 여부.

머신 네트워크 대역폭

1000MB/s >> 2500 * 32KB/s

머천트 사용자 정의 문제 LRU 제거 전략

작업 크기, 작업 실행 시간, 스레드 풀 대기열에 생성된 스레드 수와 같은 지표

성능 실험:

위 그림과 같이 실험 계획을 설계했습니다. 1. 시스템 아키텍처를 정리하고, 제한된 리소스를 발견하고, 스트레스 테스트 계획을 구성합니다. 2. 멀티 스레드 시뮬레이션을 사용합니다. 라인 환경에 있어서, 3. 다양한 강도 테스트, 병목 자원 분석, 서비스 분석 등이 있습니다. 4. 병목 지점을 찾아 임계값 경보를 추가하고 다시 테스트합니다. 5. 실제 시나리오에서 서비스의 안정성.

스트레스 테스트: 다음으로 스트레스 테스트를 실시하고 다양한 강도 요청 볼륨 테스트를 시도했습니다. 2500개 요청/분을 사용하여 인터페이스 스트레스 테스트를 했을 때 서비스의 주요 병목 현상은 서비스의 힙 메모리라는 것을 발견했습니다. 아래 그림에서 볼 수 있듯이 서비스의 힙 메모리가 빠르게 100%에 도달하고 인터페이스가 응답하지 않게 됩니다. 힙 메모리를 덤프한 후, 힙 메모리에 수백 개의 DialingInfo 개체가 있음을 발견했는데, 각 개체는 18.75MB를 차지했습니다. 코드를 보면 이 개체가 AI 간의 대화 내용을 저장하는 데 사용되는 것을 알 수 있습니다. allRobotVoiceBuffer와 allUserVoiceBuffer라는 두 객체는 ​​각각 메모리 크기의 절반을 차지하며, allRobotVoiceBuffer는 로봇의 음성 정보(저장 형식: 바이트 배열)를 저장하는 데 사용되고, allUserVoiceBuffer는 사용자의 음성 정보를 저장하는 데 사용됩니다.

코드를 보면 서비스 초기화 시 allRobotVoiceBuffer와 allUserVoiceBuffer 두 객체가 합쳐서 18.75MB를 차지하는 것을 알 수 있습니다(이 값은 5분 분량의 오디오 데이터를 저장해야 하기 때문입니다). 초기화 크기가 적당한지 고려하여 매직면접실의 과거 통화 데이터를 분석한 결과, 63%의 사용자가 로봇의 첫 번째 질문에 답변하지 않고 직접 인터뷰를 끊는 것을 볼 수 있었습니다. 이 두 개체의 초기 메모리 크기를 줄이고 allRobotVoiceBuffer를 0.47MB로 변경했습니다(이 값은 로봇의 첫 번째 질문 오디오 크기). 동시에 두 개체 allRobotVoiceBuffer 및 allUserVoiceBuffer는 확장될 수 있으므로 0MB입니다. ms 수준에서 대화 내용이 개체 크기를 초과하면 서비스에 영향을 주지 않고 확장이 가능합니다. 수정 후에도 2500분/요청을 사용하여 서비스가 안정적인 가비지 수집을 달성할 수 있습니다.

세밀한 모니터링:

표시기 유형	개요
서비스 중요 지표	요청량, 성공량, 실패량, 있어요 사용 가능한 포트 없음
리소스 표시기	사용 가능한 포트 대기열 길이가 임계값보다 작거나 캐시 개인화 문제가 임계값을 초과하는 등 13개 표시기입니다. 5개 표시기
프로세스 지표	단어 구성 실패, 핵심 정보 전달 실패, 타임라인 전달 실패 등 52개 지표
스레드 풀 모니터링 지표	요청된 스레드 수 생성됨, 실행 중인 작업 수, 평균 작업 시간 6개 지표
직위 질문 및 답변 세션 지표	음성 답변 획득 예외, 평균 답변 준비 시간 등 9개 지표
ASR 지표	자체 개발 음성 인식 평균 지속 시간, 자체 개발 인식 실패 등 18개 지표
Vad 지표	통화 횟수, 최대 소비 시간 등 4 지표

07 Summary

본 글에서는 AI 면접 로봇의 백엔드 아키텍처, AI 면접 로봇과 사용자 간의 전체 상호 작용 과정, AI 면접 로봇의 핵심 기능을 주로 소개합니다. 대화 엔진 및 서비스 성능 최적화 관행. 앞으로도 매직 인터뷰룸 프로젝트의 기능 반복 및 성능 최적화를 지속적으로 지원하고, 나아가 AI 인터뷰 로봇을 다양한 사업에 구현해 나갈 예정입니다.

참고자료

1. RTP: 실시간 애플리케이션을 위한 전송 프로토콜. H. Schulzrinne R. Frederick S. Casner V. Jacobson

저자 소개

Zhang Chi, 58년 City AI Lab 백엔드 수석 개발 엔지니어 2016년 12월 58.com에 입사하여 현재 음성인터랙션 관련 백엔드 R&D 업무를 주로 수행하고 있습니다. 2016년 화북이공대학 석사학위를 취득했습니다. Bianlifeng과 China Electronics에서 근무하며 백엔드 개발에 종사했습니다.

위 내용은 AI 면접로봇 백엔드 아키텍처 실습의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!