자연어 처리를 이용한 보험 문서 클러스터링 전략 및 방법

번역가 | Li Rui

리뷰어 | Sun Shujuan

보험 업계의 자연어 처리(NLP)는 고급 기호 추론을 활용하는 동시에 확장성을 향상시키는 하이브리드 기계 학습/기호 접근 방식의 이점을 누릴 수 있습니다.

보험 문서 및 정책: 복잡한 사용 사례

보험 분야에서 최대 87%의 데이터 과학 프로젝트가 개념 증명에서 생산으로 넘어가지 못하는 것으로 알려져 있습니다. 예외. 그들은 이 공간과 그 복잡함과 필연적으로 관련된 몇 가지 어려움을 극복해야 합니다.

주요 어려움은 다음과 같습니다.

• 보험 관련 문서의 복잡한 레이아웃.
• 관련 주석이 포함된 대규모 자료가 부족합니다.

레이아웃의 복잡성이 너무 커서 동일한 언어 개념이라도 문서의 위치에 따라 의미와 가치가 크게 바뀔 수 있습니다.

아래의 간단한 예를 살펴보십시오. 정책에 "테러" 보장이 있는지 여부를 식별하는 엔진을 구축하려는 경우 위치에 관계없이 다른 값을 할당해야 합니다.

(1) 선언 페이지 하위 제한 부분.

(2) 정책의 "제외" 섹션.

(3) 하나 이상의 보험 보증을 추가합니다.

(4) 보장 범위에 특정 보증을 추가합니다.

고품질의 적절한 크기의 주석이 달린 보험 문서 말뭉치의 부족은 이러한 복잡한 문서에 주석을 다는 데 따른 본질적인 어려움과 수만 개의 보험 증권에 주석을 다는 데 필요한 노력의 양과 직접적인 관련이 있습니다.

그리고 이것은 빙산의 일각에 불과합니다. 이와 더불어 보험의 개념을 정상화할 필요성도 고려해야 한다.

언어 정규화: 보험 언어에서 눈에 보이지 않지만 강력한 힘

데이터베이스를 다룰 때 개념의 정규화는 잘 알려진 프로세스입니다. 추론을 적용하고 주석 처리 속도를 높이는 것이 핵심이기 때문에 보험 분야의 NLP에도 중요합니다.

정규화 개념은 동일한 태그 언어 요소로 그룹화하는 것을 의미하며 이는 매우 다르게 보일 수 있습니다. 많은 예가 있지만 가장 중요한 예는 자연재해를 보장하는 보험에서 나옵니다.

이 경우 홍수 구역마다 다른 하위 제한이 적용됩니다. 홍수 위험이 가장 높은 지역을 종종 "고위험 홍수 구역"이라고 합니다. 이 개념은 다음과 같이 표현될 수 있습니다:

(1) 레벨 1 홍수 지역

(2) 홍수 위험 지역(SFHA)

(3) 홍수 지역 A

등

실제로 모든 보험 보장에는 함께 그룹화할 수 있는 많은 용어가 있으며, 가장 중요한 자연 재해 보장은 특정 지리적 영역과 고유한 위험에 따라 2~3단계로 구분됩니다(I, II, III).

이에 찾을 수 있는 모든 가능한 요소를 곱하면 변형의 수가 빠르게 매우 커질 수 있습니다. 이로 인해 올바른 정보를 검색, 추론 또는 라벨링하려고 할 때 기계 학습 주석자와 자연어 처리(NLP) 엔진이 모두 정체됩니다.

새로운 유형의 언어 클러스터링: 하이브리드 접근 방식

복잡한 자연어 처리(NLP) 작업을 해결하는 더 나은 방법은 기계 학습 기반 미시 언어 클러스터링을 통해 보험 업무를 개선하는 하이브리드(기계 학습/기호) 기술을 기반으로 합니다. 프로세스의 결과와 라이프사이클은 기호 엔진에 의해 상속됩니다.

비지도 학습 방법에서는 전통적인 텍스트 클러스터링이 의미론적 패턴을 추론하고 비슷한 주제, 비슷한 의미를 가진 문장 등을 가진 문서를 그룹화하는 데 사용되는 반면, 하이브리드 방법은 상당히 다릅니다. 미시 언어 클러스터는 사전 정의된 정규화된 값을 사용하여 레이블이 지정된 데이터에 대해 훈련된 기계 학습 알고리즘을 사용하여 세부적인 수준에서 생성됩니다. 미시 언어 클러스터가 추론되면 추가 기계 학습 활동이나 기호 계층을 기반으로 하는 하이브리드 파이프라인 기반 추론 논리에 사용할 수 있습니다.

이것은 프로그래밍의 전통적인 황금률인 "문제 해결"과 일치합니다. 복잡한 사용 사례(보험 분야의 대부분의 사용 사례와 마찬가지로)를 해결하는 첫 번째 단계는 해당 사용 사례를 더 작고 더 맛있는 덩어리로 나누는 것입니다.

혼합 언어 클러스터링으로 수행할 수 있는 작업은 무엇이며 확장성은 얼마나 됩니까?

기호 엔진은 훈련 단계에서 볼 수 없는 상황을 처리할 때 기계 학습의 유연성이 없기 때문에 매우 정확하지만 확장 가능하지 않은 것으로 분류되는 경우가 많습니다.

그러나 이러한 유형의 언어 클러스터링은 기계 학습을 활용하여 개념을 식별한 다음 파이프라인에서 다음 기호 엔진의 복잡하고 정확한 논리로 전달함으로써 이 문제를 해결합니다.

가능성은 무궁무진합니다. 예를 들어 기호 단계는 개념이 속한 문서 세그먼트를 기반으로 기계 학습 인식의 본질적인 가치를 변경할 수 있습니다.

다음은 기계 학습 모듈에서 전달된 레이블을 어떻게 사용하는지 알아보기 위해 "분할"(텍스트를 관련 영역으로 분할)이라는 표기 프로세스를 사용하는 예입니다.

모델이 100페이지짜리 보험에서 특정 보장이 제외되는지 여부를 이해해야 한다고 상상해 보세요.

머신 러닝 엔진은 먼저

• "미술"
• "예술 작품"
• "예술 예술 품목
• 보석
• 등 "예술" 범위의 가능한 모든 변형을 통합합니다.

이후 파이프라인의 기호 섹션에서는 '제외' 섹션에 'Arts' 태그가 언급되어 있는지 확인하여 적용 범위가 정책에서 제외되는지, 아니면 적용되는지(하위 항목으로) 이해합니다. -제한 목록) 부분).

이로 인해 기계 학습 주석자는 정책에서의 위치에 따라 모든 'Arts' 변형에 다른 라벨을 할당하는 것에 대해 걱정할 필요가 없습니다. 변형에 'Arts'(Arts) 주석만 달면 됩니다. 마이크로 언어 클러스터 역할을 합니다.

복잡한 작업의 또 다른 유용한 예는 데이터 집계입니다. 하이브리드 엔진이 특정 적용 범위의 하위 제한 사항과 적용 범위 정규화 문제를 추출하도록 설계된 경우 처리해야 할 추가 복잡성 계층이 있습니다. 즉, 집계를 위한 언어 항목의 순서입니다.

현재 작업은 특정 적용 범위의 하위 제한뿐만 아니라 해당 한정자(이벤트별, 집계별 등)도 추출하는 것이라고 생각하세요. 이 세 항목은 여러 가지 다른 주문으로 배열될 수 있습니다.

• 미술 항목당 $100,000
• 미술 항목당 $100,000
• 항목당 $100,000 미술
• $100,000 미술
• 미술 $100,000

집계하여 모두 악용 이러한 데이터 순열은 동시에 기계 학습 모델의 복잡성을 크게 증가시킬 수 있습니다. 반면에 하이브리드 접근 방식에서는 기계 학습 모델이 정규화된 레이블을 식별한 다음 기호 추론을 통해 기계 학습 부분의 입력 데이터를 기반으로 올바른 순서를 식별할 수 있습니다.

이것은 정규화된 개념을 식별하기 위해 확장 가능한 기계 학습 알고리즘 위에 무제한의 복잡한 기호 논리 및 추론을 적용할 수 있음을 보여주는 두 가지 예일 뿐입니다.

구축 및 유지 관리가 더 쉬운 확장 가능한 워크플로

확장성 외에도 상징적 추론은 전체 프로젝트 워크플로에 다른 이점을 제공합니다.

• 복잡한 작업에 대해 다른 기계 학습 워크플로를 구현할 필요가 없으며, 다른 태그를 구현해야 함 그리고 유지. 또한 단일 기계 학습 모델을 재교육하는 것은 여러 모델을 재교육하는 것보다 더 빠르고 리소스를 덜 소비합니다.
• 비즈니스 로직의 복잡한 부분은 기호적으로 처리되므로 데이터 주석자가 기계 학습 파이프라인에 사람 주석을 추가하는 것이 훨씬 쉽습니다.
• 위에서 언급한 것과 같은 이유로 테스터가 기계 학습 표준화 프로세스에 직접 피드백을 제공하는 것이 더 쉽습니다. 또한 워크플로의 기계 학습 부분이 언어 요소를 정규화하므로 사용자는 문서에 레이블을 지정할 수 있는 태그 목록이 더 적습니다.
• 기호 규칙은 자주 업데이트할 필요가 없습니다. 자주 업데이트되는 것은 기계 학습 부분이며, 이는 사용자 피드백의 이점도 얻습니다.

결론

• 보험 분야의 복잡한 프로젝트에서 기계 학습은 추론 논리를 간단한 태그로 압축하기 어렵기 때문에 어려움을 겪을 수 있으며 이는 또한 주석 작성자의 삶을 더욱 어렵게 만듭니다.
• 텍스트 배치와 추론은 동일한 언어 형식을 가진 개념의 실제 의미를 크게 바꿀 수 있습니다.
• 순수한 기계 학습 워크플로에서는 논리가 복잡할수록 프로덕션 수준의 정확성을 달성하기 위해 일반적으로 더 많은 교육 문서가 필요합니다.
• 이러한 이유로 기계 학습에는 효과적인 모델을 구축하기 위해 사전 레이블이 지정된 수천 개(심지어 수만 개)의 문서가 필요합니다.
• 하이브리드 접근 방식은 복잡성을 줄입니다. 기계 학습과 사용자의 주석은 언어 클러스터/태그를 생성하며, 이는 목표를 달성하기 위한 기호 엔진의 시작점 또는 빌딩 블록으로 사용됩니다.
• 검증된 사용자 피드백은 가장 세부적인 부분(워크플로의 상징적인 부분에서 처리할 수 있음)을 변경하지 않고도 모델을 재교육하는 데 사용할 수 있습니다.

원제: ​​보험 정책: 하이브리드 NLP를 통한 문서 클러스터링​​, 저자: Stefano Reitano

위 내용은 자연어 처리를 이용한 보험 문서 클러스터링 전략 및 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!