두 명의 중국 Google 연구원이 최초의 순수 시각적인 '모바일 UI 이해' 모델을 출시했습니다. 이는 SOTA를 새로 고치기 위한 4가지 주요 과제입니다.

AI의 경우 '휴대폰을 가지고 노는 것'은 쉬운 일이 아닙니다. 다양한 사용자 인터페이스(UI)를 식별하는 것만으로도 큰 문제입니다. 각 구성 요소의 유형을 식별해야 할 뿐만 아니라 사용하는 구성 요소의 유형도 알아야 합니다. 구성 요소의 기능을 결정하는 기호 및 위치입니다.

모바일 기기 UI에 대한 이해는 UI 자동화 등 다양한 인간-컴퓨터 상호 작용 작업을 실현하는 데 도움이 될 수 있습니다.

이전 작업 모델링 모바일 UI는 일반적으로 화면의 뷰 계층 정보에 의존하여 UI의 구조 데이터를 직접 활용함으로써 화면 픽셀에서 시작하는 구성 요소를 식별하는 문제를 우회했습니다.

그러나 모든 시나리오에서 모든 뷰 계층을 사용할 수 있는 것은 아닙니다. 이 방법은 일반적으로 개체 설명이 누락되거나 위치가 잘못된 구조 정보로 인해 잘못된 결과를 출력합니다. 따라서 뷰 계층을 사용하면 단기적인 성능이 향상될 수 있지만 궁극적으로는 성능이 저하될 수 있습니다. 모델의 적용 가능성 및 일반화 성능.

최근 Google Research의 두 연구원이 모바일 UI 이해에 사용할 수 있는 순수 시각적 방법인 Spotlight를 제안했습니다. 시각적 언어 모델을 기반으로 사용자 인터페이스와 관심 영역의 스크린샷만 찍으면 됩니다. 화면(초점)에 입력으로 표시됩니다.

문서 링크: https://arxiv.org/pdf/2209.14927.pdf

Spotlight의 일반 아키텍처는 쉽게 확장 가능하며 다양한 사용자 인터페이스 모델링 작업을 수행할 수 있습니다.

이 기사의 실험 결과는 Spotlight 모델이 여러 대표적인 사용자 인터페이스 작업에서 소타 성능을 달성하여 스크린샷을 사용하고 계층 구조를 입력으로 보는 이전 방법을 성공적으로 능가했음을 보여줍니다.

또한 이 기사에서는 Spotlight 모델의 다중 작업 학습 및 Few-Shot 프롬프트 기능에 대해 살펴보고 다중 작업 학습 방향에 대한 유망한 실험 결과도 보여줍니다.

논문의 저자 Yang Li는 Google Research Center의 선임연구원이자 워싱턴대학교 CSE 소속 교수입니다. 그는 중국과학원에서 컴퓨터공학 박사학위를 취득하고 에서 박사후 연구를 진행했습니다. 캘리포니아 대학교 버클리 캠퍼스의 EECS. 그는 Next Android App Prediction의 개발을 주도하고 있으며 Android의 온디바이스 대화형 기계 학습 분야의 선구자이며 제스처 검색 등을 개발하고 있습니다.

스포트라이트: 모바일 인터페이스 이해

사용자 인터페이스에 대한 컴퓨터적 이해는 지능형 UI 동작을 달성하는 데 중요한 단계입니다.

이전에 팀에서는 창 제목(위젯), 화면 요약(화면 요약), 명령 접지 등 다양한 UI 모델링 작업을 연구하여 다양한 상호 작용 시나리오에서 자동화 및 접근성 문제를 해결했습니다.

이러한 기능의 후속 사용은 기계 학습이 클릭 가능성 혼란을 진단하여 "사용자 경험 실무자"가 UI 품질을 개선하고 UI 디자인 개선을 위한 아이디어를 제공하는 데 어떻게 도움이 되는지 보여주었습니다. 최종 사용자 경험과 상호 작용 디자인 방식을 변화시킬 수 있는 잠재력.

"단일 UI 작업" 처리에서는 어느 정도 성공했지만, 다음 질문은 "특정 UI 인식"에서 "일반 UI"의 처리 능력을 향상시킬 수 있는지 여부입니다. 일 .

Spotlight 모델은 이 문제를 해결하기 위한 첫 번째 시도이기도 합니다. 연구원들은 일련의 UI 작업을 동시에 처리하기 위한 멀티 태스킹 모델을 개발했지만, 작업이 일부 진전되었지만 여전히 몇 가지 어려움이 있습니다.

이전 UI 모델은 웹 페이지의 문서 개체 모델과 같이 모바일 UI 화면의 구조 또는 메타데이터인 UI 보기 계층 구조에 크게 의존했습니다. 유형, 텍스트 내용, 위치 등을 포함한 화면

이 메타데이터는 이전 모델이 순수 시각적 모델에 비해 이점을 제공하지만 뷰 계층 구조 데이터에 대한 접근성은 객체 설명 누락이나 구조 정보의 부적절한 정렬과 같은 문제가 자주 발생하는 큰 문제입니다.

따라서 뷰 계층 구조를 사용하면 단기적인 이점이 있지만 궁극적으로는 모델의 성능과 적용성을 저해할 수 있습니다. 또한 이전 모델은 데이터 세트와 UI 작업 전반에 걸쳐 이질적인 정보를 처리해야 했기 때문에 결국 작업 전반에 걸쳐 확장하거나 일반화하기 어려운 더 복잡한 모델 아키텍처가 되는 경우가 많았습니다.

Spotlight 모델

순전히 시각적인 Spotlight 접근 방식은 원시 픽셀에서 전적으로 범용 사용자 인터페이스 이해 기능을 달성하는 것을 목표로 합니다.

연구원들은 다양한 UI 작업을 표현하기 위한 통합 접근 방식을 도입합니다. 여기서 정보는 두 가지 핵심 모드, 즉 시각적 모드와 언어적 모드로 보편적으로 표현될 수 있습니다. 여기서 시각적 모드는 사용자가 UI 화면에서 보는 것을 캡처하고, 언어 모드는 자연스러울 수 있습니다. 작업과 관련된 언어 또는 일련의 토큰.

Spotlight 모델에 대한 입력은 스크린샷, 화면의 관심 영역, 작업에 대한 텍스트 설명으로 구성됩니다. 출력은 관심 영역에 대한 텍스트 설명 또는 응답입니다.

이 모델의 간단한 입력 및 출력 표현은 보다 일반적이며 다양한 UI 작업에 적용할 수 있고 다양한 모델 아키텍처로 확장할 수 있습니다.

모델은 특정 작업에 대한 미세 조정부터 다중 작업 학습, 소수 학습까지 일련의 학습 전략 및 설정이 가능하도록 설계되었습니다.

Spotlight 모델은 리소스가 많은 일반 시각적 언어 도메인에서 사전 훈련되고 이러한 일반 도메인 모델 위에 직접 구축할 수 있는 ViT 및 T5와 같은 기존 아키텍처 빌딩 블록을 활용할 수 있습니다.

UI 작업은 일반적으로 화면의 특정 개체나 영역과 관련되어 있기 때문에 모델은 관심 있는 개체나 영역에 집중할 수 있어야 합니다. 연구원들은 초점 영역 추출기(Focus Region Extractor)를 시각적 개체에 도입했습니다. 모델이 화면 상황에 따라 해당 영역에 집중할 수 있도록 언어 모델을 만듭니다.

연구원들은 또한 영역 경계 상자에서 생성된 어텐션 쿼리를 사용하여 ViT 인코딩을 기반으로 화면 영역의 잠재 표현을 얻기 위해 영역 요약기를 설계했습니다.

구체적으로 각 좌표(왼쪽, 위쪽, 오른쪽 또는 아래쪽을 포함한 스칼라 값)에 대한 경계 상자는 스크린샷에서 노란색 상자로 표시됩니다.

먼저 입력값을 다층 퍼셉트론(MLP)을 통해 밀집된 벡터 집합으로 변환한 후 다시 Transformer 모델에 피드백하여 좌표 유형에 따른 임베딩 벡터(좌표형 임베딩)를 구하고 비교합니다. 밀집 벡터와 해당 좌표 유형 임베딩은 색상으로 구분되어 각 좌표 값과의 관계를 나타냅니다.

그런 다음 좌표 쿼리는 "교차 주의"를 통해 ViT 출력의 화면 인코딩에 참여하고 마지막으로 Transformer의 주의 출력은 T5 다운스트림 디코딩의 지역 표현으로 사용됩니다.

실험 결과

연구원들은 Spotlight 모델을 사전 훈련하기 위해 두 개의 레이블이 없는(unlabeled) 데이터 세트를 사용했는데, 이는 C4 코퍼스를 기반으로 한 내부 데이터 세트와 총 250만 개의 모바일 UI가 포함된 내부 모바일 데이터 세트였습니다. .

그런 다음 사전 훈련된 모델은 제목, 요약, 그루딩 및 클릭 가능성이라는 네 가지 다운스트림 작업에 맞게 미세 조정됩니다.

창 캡션 및 화면 요약 작업의 경우 CIDEr 측정항목은 모델 텍스트 설명이 명령 접지 작업을 위해 평가자가 만든 참조 세트와 얼마나 유사한지 측정하는 데 사용되며 정확도 측정항목은 모델의 위치 찾기 성공 여부입니다. 사용자 명령에 대한 응답 대상 개체의 비율입니다. 클릭 가능성 예측을 위해 F1 점수를 사용하여 클릭할 수 있는 개체와 클릭할 수 없는 개체를 구별하는 모델의 능력을 측정합니다.

실험에서 Spotlight는 여러 벤치마크 모델과 비교되었습니다. WidgetCaption은 뷰 계층 구조와 각 UI 객체의 이미지를 사용하여 객체에 대한 텍스트 설명을 생성하고 Screen2Words는 뷰 계층 구조와 스크린샷 및 접근성 기능(예: 애플리케이션 설명)을 사용하여 VUT는 스크린샷과 뷰 계층을 결합하여 여러 작업을 수행합니다. 원래 Tappability 모델은 뷰 계층과 스크린샷의 개체 메타데이터를 활용하여 개체의 Tappability를 4가지로 예측합니다. UI 모델링 작업은 이전 sota 모델을 크게 능가합니다.

더 어려운 작업 설정에서는 다중 작업 모델이 모델의 에너지 소비(모델 공간)를 크게 줄일 수 있기 때문에 모델이 동시에 여러 작업을 학습해야 합니다. Spotlight 모델의 성능은 여전히 ​​경쟁력이 있습니다.

Spotlight가 어떻게 Region Summarizer를 통해 화면의 대상 및 관련 영역에 집중할 수 있는지 이해하기 위해 연구원들은 창 제목 및 화면 요약기 작업의 주의 가중치를 분석하여 모델이 주의를 기울이는 위치에 있음을 나타냅니다. 스크린샷.

아래 그림에서 창 제목 작업에 대해 모델이 "첼시 팀 선택"을 예측하면 왼쪽 체크박스가 빨간색 테두리로 강조 표시되어 있으며 이는 주의 열에서 볼 수 있습니다. 오른쪽 그림에서 볼 수 있듯이 모델은 체크박스의 대상 영역에 주의를 기울이는 것뿐만 아니라 제목을 생성하기 위해 가장 왼쪽의 텍스트 "Chelsea"에도 주의를 기울이는 방법을 학습했습니다.

화면 요약 작업의 경우 모델은 "학습 앱의 튜토리얼이 표시되는 페이지"를 예측하고 왼쪽에 스크린샷을 제공합니다. 예시에서는 대상 영역이 화면 전체이므로 모델이 학습할 수 있습니다. 요약을 위해 화면의 중요한 부분을 처리합니다.

참조:

​

​https://www.php.cn/link/64517d8435994992e682b3e4aa0a0661​

​

위 내용은 두 명의 중국 Google 연구원이 최초의 순수 시각적인 '모바일 UI 이해' 모델을 출시했습니다. 이는 SOTA를 새로 고치기 위한 4가지 주요 과제입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!