iFLYTEK ICDAR 2023: 이미지 및 텍스트 인식이 다시 한번 더 큰 영광을 누리며 4번의 우승을 차지했습니다.

ICDAR 2023(International Conference on Document Analysis and Recognition)은 문서 이미지 분석 및 인식 분야에서 가장 중요한 국제 학회 중 하나로 최근 흥미로운 소식을 접했습니다.

USTC iFlytek 연구소와 국립음성연구소 USTC 언어정보처리 공학연구센터(이하 연구센터)는 다선 수식 인식, 문서 정보 위치 및 추출, 구조화된 텍스트 정보 추출 등 3개 대회에서 4차례 우승을 차지했다.

MLHMETop: 복잡성의 또 다른 돌파구인 "다중 행 쓰기"에 중점을 둡니다

MLHME(Multi-line Formula Recognition Competition)는 다음을 포함하는 이미지를 입력한 후 LaTex 문자열에 해당하는 알고리즘 출력의 정확성을 테스트합니다. 손으로 쓴 수학 공식. 이전 수학 공식 인식 대회에 비해 이번 대회에서는 업계 최초로 '다행 필기'를 주요 과제로 설정했다는 점을 언급할 만하다. 주로 여러 줄로 된 수식을 인식합니다.

아이플라이텍 연구소의 이미지 및 텍스트 인식팀이 67.9%의 점수로 우승을 차지했으며, 주요 평가지표-공식 재현율

공식 재현율 및 목록에서 다른 참가 팀들을 훨씬 능가했습니다.

의 제출 결과에 따라 여러 줄 수식은 한 줄 구조보다 더 복잡하며 수식에 동일한 문자가 동시에 여러 번 나타나면 크기가 변경되므로 대회에 사용되는 데이터 세트가 제공됩니다. 실제 장면에서 촬영한 손글씨 공식 사진에는 품질 저하, 배경 간섭, 문자 간섭, 번짐, 주석 간섭 등의 문제도 있습니다. 이러한 요소는 게임을 더욱 어렵게 만듭니다.

공식의 구조가 복잡하고 여러 줄을 차지합니다

화질이 좋지 않고 보정이 방해가 됩니다

공식의 구조가 복잡하고 여러 줄을 차지한다는 문제에 대응하여, 팀은 인코더 구조로 큰 컨볼루션 커널을 사용하여 확장합니다. 모델의 시야를 넓히고 다중 라인 공식의 구조적 특성을 더 잘 포착하며 계층적 관계를 명시적으로 모델링하는 변환기 기반 구조 시퀀스 디코더 SSD를 혁신적으로 제안합니다. 여러 줄 수식 내에서 크게 개선됩니다. 복잡한 구조의 일반화가 구조화된 의미론을 더 잘 모델화합니다.

화질 문제로 인한 문자 모호성 문제에 대응하여 팀에서는 의미론과 비전의 공동 학습을 통해 디코더에 고유한 도메인 지식을 갖춘 의미론적으로 향상된 디코더 학습 알고리즘을 혁신적으로 제안했습니다. 문자를 식별하기 어려운 경우 모델은 도메인 지식을 적응적으로 사용하여 추론하고 가장 합리적인 인식 결과를 제공할 수 있습니다.

문자 크기의 큰 변화 문제에 대응하여 팀은 적응형 문자 크기 추정 알고리즘과 다중 스케일 융합 디코딩 전략을 제안하여 문자 크기 변화에 대한 모델의 견고성을 크게 향상시켰습니다.

DocILETop: "Pick one from the line", 이중 트랙 문서 정보 위치 및 추출 경쟁이 목록에서 1위를 차지했습니다.

DocILE(문서 정보 위치 및 추출 경쟁)은 반구조적 비즈니스의 기계 학습 방법을 평가합니다. 문서 내 주요 정보의 항목을 찾아 추출하고 식별하는 성능입니다.

게임은 KILE과 LIR의 두 가지 트랙 작업으로 나뉩니다. KILE 작업은 문서에서 사전 정의된 범주의 주요 정보 위치를 찾아야 합니다. 이를 기반으로 LIR 작업은 각 주요 정보를 단일 개체(수량, 가격)와 같은 다양한 품목(품목)으로 그룹화합니다. 테이블의 행) 잠깐만요. iFlytek과 연구소는 마침내 두 개의 트랙에서 우승을 차지했습니다

KILE 트랙 목록

LIR 트랙 목록

왼쪽은 KILE 트랙 설명, 오른쪽은 LIR 트랙 설명

보실 수 있습니다 행사 관계자가 제공한 작업 아이콘을 보면 문서에서 추출할 정보의 유형이 매우 복잡하다는 것을 알 수 있습니다. 그 중에서 KILE 작업은 미리 정의된 카테고리의 핵심 정보를 추출해야 할 뿐만 아니라 LIR 작업에서 핵심 정보의 특정 위치를 얻어야 합니다. 라인 항목은 단일 테이블에 여러 줄의 텍스트를 가질 수 있습니다. 또한, 이번 공모전의 데이터 세트에는 다양한 종류의 정보가 포함되어 있으며, 문서 형식이 복잡하고 다양하여 난이도가 크게 높아집니다.

합동팀은 알고리즘 수준에서 두 가지 기술 혁신 솔루션을 제안했습니다.

사전 학습 단계에서는 주최측에서 제공한 주석 없는 문서에서 274만 페이지의 문서 이미지를 추출하여 OCR 품질 기반의 문서 필터를 설계했습니다. 그런 다음 사전 훈련된 언어 모델을 사용하여 문서의 각 텍스트 줄의 의미론적 표현을 얻고, 다양한 Top-K 구성(GraphDoc에서 문서의 주의 범위)에 따라 사전 훈련된 마스크된 문장 표현 복구 작업을 사용합니다. 모델(초매개변수)

데이터 세트 미세 조정 단계에서 팀은 사전 훈련된 GraphDoc을 사용하여 텍스트 상자의 다중 모드 표현을 추출하고 분류 작업을 수행했습니다. 분류 결과를 기반으로 다중 모드 표현이 인스턴스 집계를 위해 하위 수준 Attention 융합 모듈로 전송됩니다. 인스턴스 집계를 기반으로 상위 수준 Attention 융합 모듈을 사용하여 라인 항목 인스턴스의 집계를 실현합니다. 제안된 주의 융합 모듈은 동일한 구조를 가지지만 서로 매개변수를 공유하지 않으며 KILE 및 LIR 작업 모두에 사용할 수 있어 좋은 결과를 얻을 수 있습니다.

SVRDTop: 제로 샘플 티켓 구조화된 정보 추출 작업에서 먼저 사전 훈련 모델에 대한 대규모 테스트

SVRD(Structured Text Information Extraction) 대회는 4개 트랙 하위로 나누어집니다. 아이플라이텍 과제, 공식적으로 지정된 다양한 유형의 과제에서 연구소

순위

로 난이도가 높은 제로 샘플 구조화된 정보 추출 하위 트랙(과제3: E2E 제로 샘플 구조화된 텍스트 추출)에서 1위를 차지했습니다. 핵심 요소의 맥락에서 트랙에서는 참여 팀이 모델을 사용하여 그림에서 이러한 핵심 요소의 해당 콘텐츠를 출력하도록 요구합니다. "제로 샘플"은 송장 유형 간에 중복이 없음을 의미합니다. 훈련 세트와 테스트 세트는 모델의 엔드 투 엔드 예측을 검사합니다. 정확성을 위해 점수 1과 점수 2의 가중 평균을 최종 평가 지표로 사용합니다.

사전 훈련된 모델의 경우 샘플이 없으면 더 높은 요구 사항이 적용됩니다. 동시에 대회에는 다양한 송장 형식이 사용되며 각 형식의 승차 정류장 이름, 출발 시간 및 기타 요소가 다릅니다. 또한 송장 사진에는 배경 간섭, 반사, 텍스트 중복 등의 문제가 있어 식별 및 추출이 더욱 어려워집니다.

다양한 형식의 송장

줄무늬 배경으로 인해 송장이 간섭됩니다

팀은 처음에 복사 생성 이중 분기 디코딩 전략을 사용하여 프런트 엔드 OCR 결과의 신뢰도가 높을 때 OCR 결과의 신뢰도가 낮을 ​​때 OCR 결과를 직접 복사합니다. , OCR 모델에서 발생하는 프런트엔드 인식 오류를 완화하기 위해 새로운 예측 결과가 생성되었습니다

또한 팀은 OCR 결과를 기반으로 문장 수준의 그래프 문서 특징을 특징 추출 모델의 입력으로 추출했습니다. 이미지, 텍스트, 위치 및 레이아웃의 다중 모드 기능은 단일 모드와 비교하여 일반 텍스트 입력이 더 강력한 기능 표현을 가지고 있습니다.

이를 바탕으로 팀은 UniLM, LiLT, DocPrompt 등의 다중 요소 추출 모델도 결합하여 최종 요소 추출 효과를 더욱 향상시켜 다양한 시나리오와 언어에서 더 나은 성능 이점을 보여줄 수 있었습니다 ​

대형 모델이 다중 모달 기능을 향상할 수 있도록 교육, 금융, 의료 등의 응용 프로그램이 구현되었습니다.

ICDAR 2023의 관련 이벤트 선택은 실제 비즈니스 이벤트에서 iFlytek의 실제 시나리오 요구 사항에서 비롯됩니다. 관련 기술 또한 교육, 금융, 의료, 사법, 지능형 하드웨어 등의 분야에도 침투하여 여러 비즈니스와 제품에 힘을 실어주고 있습니다.

교육 분야에서는 필기 수식 인식이라는 기술적 능력이 자주 사용되며, 기계가 정확한 식별, 판단, 교정을 제공할 수 있습니다. 예를 들어, iFlytek AI 학습 머신의 맞춤형 정밀 학습 및 AI 진단, 교사가 수업 중에 사용하는 "iFlytek Smart Window" 교육 화면, 학생 맞춤형 학습 매뉴얼 등이 모두 좋은 결과를 얻었습니다.

얼마 전 iFlytek Global 1024 개발자 페스티벌 메인 포럼에서 Spark Scientific Research Assistant가 출시되었습니다. 논문 읽기의 세 가지 핵심 기능 중 하나는 논문의 지능적인 해석을 실현하고 관련 질문에 빠르게 답변할 수 있다는 것입니다. 이후 고정밀 공식 인식을 기반으로 유기 화학 구조식, 그래픽, 아이콘, 순서도, 표 및 기타 구조화된 장면 인식의 효과가 향상되어 과학 연구자의 효율성이 향상됩니다.

문서 정보 위치 지정 및 추출 기술은 계약 요소 추출 및 검토, 은행 청구서 요소 추출, 마케팅 콘텐츠 소비자 보호 검토 및 기타 시나리오 등 금융 분야에서 널리 사용됩니다. 이러한 기술은 문서나 파일의 데이터 분석, 정보 추출, 비교 검토 등의 기능을 구현하고 비즈니스 데이터를 신속하게 입력, 추출, 비교할 수 있도록 도와 검토 프로세스의 효율성을 높이고 비용을 절감할 수 있습니다

In 이번 1024 메인 이벤트 포럼에 게시된 개인 AI 건강 보조원은 iFlytek Xiaoyi입니다. 체크리스트와 테스트 주문을 스캔하고 분석과 제안을 제공할 수 있을 뿐만 아니라 알약 상자를 스캔하고 추가 문의를 하고 보조 약물 제안도 제공할 수 있습니다. 신체 검사 보고서의 경우 사용자는 사진을 찍어 업로드할 수 있으며, iFlytek Xiaoyi는 주요 정보를 식별하고 이상 징후를 종합적으로 해석하며 사전에 문의하고 더 많은 도움을 제공할 수 있습니다. 이 기능은 문서 정보 위치 지정 및 추출 기술의 지원에 의존합니다.

iFlytek의 이미지 및 텍스트 인식 기술은 단일 단어 인식 및 텍스트 줄 인식에서 보다 복잡한 2차원 구조 인식 및 장 인식에 이르기까지 알고리즘 분야에서 지속적으로 획기적인 발전을 이루고 있습니다. .레벨 식별. 더욱 강력한 이미지 및 텍스트 인식 기술은 이미지 설명, 이미지 질문 및 답변, 이미지 인식 생성, 문서 이해 및 처리 등에서 다중 모드 대형 모델의 효과와 잠재력을 향상시킬 수 있습니다. 동시에 이미지 및 텍스트 인식 기술도 음성 인식, 음성 합성, 기계 번역 및 기타 기술을 결합하여 체계적인 혁신을 이루었고, 강화된 제품은 적용 후 더욱 강력한 기능과 보다 확실한 가치 이점을 보여주었습니다. 관련 프로젝트도 2022 Wu Wenjun 인공 지능 기술 발전상에서 1등상을 받았습니다. . 새로운 여정에서 여러 ICDAR 2023 대회의 "더 많은 꽃"은 이미지와 텍스트 인식 및 이해 기술의 깊이에 대한 iFlytek의 지속적인 발전에 대한 피드백일 뿐만 아니라 폭의 지속적인 확장에 대한 확인이기도 합니다.

위 내용은 iFLYTEK ICDAR 2023: 이미지 및 텍스트 인식이 다시 한번 더 큰 영광을 누리며 4번의 우승을 차지했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!