Zhuanzhuan은 중고상품 거래를 주로 하는 전자상거래 플랫폼입니다. 거래 주체에 따라 C2C, C2B, B2C 등의 거래 관계가 형성될 수 있습니다. 예를 들어, Zhuanzhuan 앱의 자유 시장에서 판매용 제품을 개인 사용자가 게시하는 것은 C2C 모델입니다. Zhuanzhuan 회사는 휴대폰 및 기타 전자 제품의 우편 발송 및 방문 재활용 C2B 서비스도 제공합니다. 공식 검사 및 보증 및 애프터 서비스가 제공되는 중고 B2C 제품입니다. 이 기사에서는 Zhuanzhuan B2C 매장의 제품 목록 검토 프로세스에서 이미지 알고리즘을 적용하는 데 중점을 둘 것입니다.
중고품의 비표준 특성으로 인해 동일한 SKU에 속한 다른 재고 제품이라도 품질에 차이가 있습니다. 사용자 경험을 향상시키고 제품 정보의 투명성을 높이기 위해 플랫폼은 중고 제품을 진열할 때 실제 제품 이미지를 사용하고 표준 제품의 렌더링 이미지를 사용하지 않습니다. 여기에는 선반에 있는 각 제품의 관련 디스플레이 사진을 정보 정확성, 화질 등 다양한 측면에서 검토하는 작업이 포함됩니다.
사업 개발 초기 단계에서는 사진의 품질과 정확성을 보장하기 위해 진열대에 있는 제품의 관련 디스플레이 사진을 수동으로 검토합니다. 검토 내용에는 주로 다음과 같은 측면이 포함됩니다.
비즈니스가 발전함에 따라 매일 더 많은 제품이 진열되고 있으며 수동 검토로 인해 점차 검토 효율성과 정확성에 몇 가지 문제가 노출되었습니다.
리뷰 내용의 반복적인 작업을 고려하여 이미지 필드와 관련된 분류, 회귀, 감지 및 기타 기술을 사용하고 알고리즘 모델 출력을 사용하여 수동 판단을 지원하여 리뷰 결과의 정확성을 향상시킬 뿐만 아니라 뿐만 아니라 검토 프로세스의 효율성도 크게 향상됩니다.
검토가 필요한 내용은 다음과 같습니다.
검토의 필요성을 고려하여 다음 솔루션을 설계했습니다.
검토가 필요한 프로젝트 솔루션 제품 표시 사진과 해당 SKU가 일치하는지 여부 이미지가 일치하는지 제품 사진이 선명한지 반품 계획 여부 제품에는 변조 방지 라벨 감지 계획이 있습니다. 제품이 이미지의 중앙 영역에 있는지 여부에 대한 감지 체계입니다.
다음 그림은 해당 제품의 개략도를 보여줍니다. B2C 상품 리스팅 리뷰 주요 리뷰 항목 :
리뷰 지도 예시
쇼핑몰에서 판매하는 모든 제품은 진열할 제품의 실제 사진을 촬영해야 합니다. 다만, 쇼핑몰에 상품을 올리는 과정에서 수작업 실수 등의 사유로 상품 디스플레이 사진과 해당 SKU 정보가 일치하지 않을 수 있습니다. 간단한 예를 들자면, 해당 제품의 SKU 정보는 iphone11-red인데, 디스플레이 사진은 iphoneX-green입니다. 이 문제는 이미지 분류 문제에 해당할 수 있는데, 이는 이미지 정보를 바탕으로 상품 카테고리를 결정하는 것과 동일하다. 그러나 단순히 분류 알고리즘을 사용하는 것만으로는 문제를 잘 해결할 수 없습니다. 분류를 직접 사용하면 다음과 같은 문제가 있습니다.
입력 이미지가 해당 카테고리에 있는지 여부에 관계없이 카테고리가 출력됩니다.
고정된 카테고리로 인해 새로 추가된 SKU는 처리할 수 없습니다.
위의 분류 방법 문제로 인해 전략을 변경하고 이미지 매칭 솔루션을 사용했습니다. 더 나은 특징 추출기를 훈련한 다음 이미지 일치 방식을 사용하면 새 카테고리를 추가하는 문제를 더 잘 해결할 수 있습니다. 우리가 선택한 솔루션은 기본적으로 얼굴 인식, 사람 재식별, 이미지 검색 및 기타 방향의 학술 솔루션과 일치합니다. 주요 프로세스에는 이미지 특징 추출, 이미지 유사성 계산, 정렬 및 결과 출력이 포함됩니다. 그 중 이미지 특징 추출이 우리 연구의 초점이다. 전통적인 이미지 매칭 특징으로는 SIFT, SURF, ORB 특징 등이 있다. 딥러닝 기반의 이미지 특징 추출은 특징 추출을 위해 주로 CNN 신경망을 사용한다. 아래 사진은 우리의 계획을 보여줍니다:
상품 석 검토 계획
훈련 단계: 훈련 단계에서는 주로 삼중항 손실과 결합된 교차 엔트로피 손실을 사용하여 분류 네트워크를 훈련했습니다. MobileNet, ResNet, ShuffleNet, OSNet 등이 시도되었습니다. 우리의 실험 결과는 ResNet 모델의 정확도가 약간 더 높음을 보여 주므로 ResNet이 백본 네트워크로 선택되었습니다.
삼중 예시
수식 1은 샘플의 출력 값을 나타내고 샘플에 해당하는 레이블을 나타내는 이진 교차 엔트로피 손실 함수를 제공합니다. 공식 2는 앵커 샘플에 해당하는 특징 벡터를 나타내는 삼중 손실 함수를 제공하고, 앵커 샘플과 동일한 카테고리의 샘플에 해당하는 특징 벡터를 나타내며, 앵커 샘플과 다른 카테고리의 샘플에 해당하는 특징 벡터를 나타냅니다. 앵커 샘플. 특징 공간에서 음성 샘플과 앵커 포인트 샘플 사이의 거리에서 양성 샘플과 앵커 포인트 사이의 거리를 뺀 값은 보다 커야 합니다.
교차 엔트로피 손실 함수는 일반적인 분류 손실 함수이고, 삼중 손실 함수는 얼굴 인식 및 보행자 재식별에서 일반적으로 사용되는 손실 함수입니다. 삼중 손실 함수는 특징이 특징 공간의 클러스터에 나타나도록 할 수 있으며, 이점은 보다 강력한 특징을 얻을 수 있다는 것입니다. 삼중항 손실 함수를 단독으로 사용하면 모델이 천천히 수렴하므로, 모델 수렴을 가속화하고 모델 정확도를 향상시키기 위해 공동 지도 학습에 교차 엔트로피 손실과 삼중항 손실을 사용합니다.
테스트 단계: 테스트 단계에서는 학습된 백본이 임베딩 특징을 추출하기 위한 특징 추출기로 선택됩니다. 쿼리 이미지 특징을 추출하고 갤러리 라이브러리에 있는 특징과 코사인 유사성을 계산하여 유사성 정렬 목록을 얻은 후, 정렬된 목록의 top1 이미지에 해당하는 카테고리를 쿼리 이미지의 카테고리 출력으로 선택합니다. 하지만 갤러리를 구축할 때 하나의 SKU는 서로 다른 촬영 장면에 해당하는 세 개의 이미지를 저장했기 때문에 top5 출력에 대해 knn을 수행하고 쿼리 이미지에 해당하는 SKU를 얻었습니다.
온라인 작업: 일치 알고리즘에 의한 SKU 출력이 정확해야 함을 보장하기 위해 정렬된 목록에서 유사도 상위 1개를 출력합니다. 유사도가 특정 임계값보다 낮을 경우 수동 검토를 위해 경보 메시지가 출력됩니다. . 이 전략은 알고리즘에 의해 출력되는 SKU 정보의 정확성을 보장합니다.
제품 촬영 과정에서 제품의 움직임이나 초점이 맞지 않아 사진이 흐릿하게 나올 수 있습니다. 사용자에게 더 나은 쇼핑 경험을 제공하기 위해 당사는 해당 제품을 검토 과정에서 반품하고 요구 사항을 충족하는 제품의 사진을 다시 촬영한 후 진열대에 올려 놓을 것입니다. 단순히 이미지가 선명한지 여부에 초점을 맞추는 것은 이미지 분류 문제로 이해될 수 있습니다. 이미지가 흐릿한지 여부에 대한 라벨링은 주관적이며 이진 분류로는 이미지의 흐릿함을 잘 설명할 수 없기 때문에 실제 검토 과정에서 일선 검토자가 약간 흐릿한 이미지에 대해 다른 판단 결과를 내리는 경우가 종종 있습니다. 감사 결과의 일관성에 큰 영향을 미쳐 쇼핑몰 내 제품 진열 효과가 좋거나 나쁠 수 있습니다.
위의 문제를 해결하기 위해 이미지의 흐릿함을 세 가지 수준으로 나눕니다. 흐릿함은 높음부터 낮음까지 뚜렷함, 약간 흐림, 선명함입니다. 그리고 각각 2점, 1점, 0점으로 대응점을 부여합니다. 여러 사람이 동일한 이미지를 평가하고 선명하고 흐릿한 이미지를 동시에 제거하고 나머지 이미지를 수치적으로 정규화하여 이미지의 블러 점수를 얻습니다. 물론 흐릿함의 정도를 뚜렷한 흐릿함, 약간 흐릿함, 미묘한 흐림, 선명함의 네 가지 범주로 세분화할 수 있으며, 더 많은 주석자가 동일한 그림에 표시하도록 하여 더 자세한 레이블 값을 얻을 수 있습니다. 더 나은 예측 결과를 가져옵니다. 그러나 제한된 자원을 고려하여 모호함을 세 가지 수준으로만 나누고 세 명의 학생에게 표시하도록 요청했습니다. 이를 통해 이진 분류 문제를 회귀 문제로 변환하고 비즈니스 표준을 효과적으로 분리할 수 있습니다. 아래 표는 분류 작업을 회귀 작업으로 전환하는 방법을 보여줍니다.
사진명 : 동급생 1점 동급생 2점 동급생 3점 총점 (0~6) 정규화 점수 사진 1은 확실히 흐릿함, 약간 흐릿함, 분명히 흐림 55/6=0.83 사진 2, 약간 흐림, 약간 흐림, 명백함 흐릿함 44/6= 0.67 그림 3은 선명함, 약간 흐릿함 및 선명함 10.17........
마찬가지로 여전히 컨볼루션 신경망을 사용하고 분류 손실을 변경합니다. 함수를 회귀 손실 함수로 변환하기 위해 회귀 작업에 대한 손실 함수로 MSE를 선택했습니다. 이는 샘플의 예측 값을 나타내고 샘플의 레이블을 나타냅니다.
모델의 출력 값은 이미지의 흐림 정도를 나타냅니다. 이진 분류 작업을 회귀 작업으로 전환하면 많은 이점을 얻을 수 있습니다. 첫 번째는 알고리즘 개발과 비즈니스의 분리로, 비즈니스 표준의 변경으로 인해 알고리즘 모델이 무효화되지 않도록 하는 동시에 비즈니스 측면에서는 비즈니스 요구에 따라 퍼지 임계값을 다르게 설정하여 명확성을 제어할 수 있습니다. 쇼핑몰 이미지.
제품에 변조 방지 라벨 부착 여부, 오염 여부, 그리고 그것이 중앙 지역에 있는지 여부. 이 세 가지 항목 중 변조 방지 라벨과 항목을 감지하는 것은 비교적 간단합니다. 변조 방지 라벨 감지에서 변조 방지 라벨의 기능은 단일이므로 감지 중에 제품이 중앙에 있는지, 항목이 크고 데이터가 큰지 여부를 감지 정확도가 높은 모델을 훈련하는 것이 상대적으로 쉽습니다. 수집하기 쉽고 매우 높은 정확도의 탐지 모델을 학습하는 것도 가능합니다.
일부 먼지 대상이 작고 샘플을 얻기가 쉽지 않기 때문에 먼지 감지가 더 어렵습니다. 이 문제를 해결하기 위해 우리는 더 많은 긍정적인 샘플을 찾기 위해 데이터 수집 과정에서 능동 학습 전략을 선택합니다(탐지 작업의 긍정적인 샘플은 탐지해야 하는 샘플 클래스를 나타냅니다). 방법도 매우 간단합니다. 초기 단계에서 일련의 데이터를 사용하여 탐지 모델을 훈련한 다음, 이 모델을 사용하여 매우 낮은 신뢰도로 레이블이 지정되지 않은 대규모 데이터 배치에서 의심스러운 양성 샘플을 선택한 다음 배치를 수행합니다. 데이터의 라벨을 수동으로 지정합니다. 그런 다음 훈련 모델이 새로운 데이터로 업데이트됩니다. 이 단계를 여러 번 반복하면 최종적으로 수동 탐지와 비슷한 탐지 모델을 얻을 수 있습니다.
컴퓨터 비전의 일반적인 분류, 감지 및 기타 작업의 경우 모델의 재현율과 정밀도가 동시에 100% 지표에 도달한다고 보장할 수 없습니다. 실제 비즈니스와 결합해야 하는 경우 정밀도가 높은 모델을 선택할지, 재현율이 높은 모델을 선택할지 고려하세요. 아래 그림은 재현율과 정밀도 사이의 관계에 대한 곡선 그래프를 보여줍니다(그림은 Zhou Zhihua 선생님의 책 에서 따옴)
PR 곡선 그래프
저희 감사 업무에서는 높은 재현율 전략을 채택합니다. 즉, 모델이 요구 사항을 충족하지 않는 제품 이미지를 최대한 많이 찾을 수 있도록 하기 위해 가격은 그에 따라 정확도가 감소한다는 것입니다. 사진 문제가 있는 제품을 리콜한 후에는 당사에서 수동으로 개입하여 검토하므로, 실수로 리콜된 사례는 당사의 비즈니스에 영향을 미치지 않습니다.
알고리즘의 도움으로 현재 항목을 검토하는 학생들의 작업량이 50% 감소했습니다. 알고리즘에 의해 처리된 상품 이미지 중 50%의 상품이 알고리즘을 통과하여 쇼핑몰 앱에 바로 올려질 수 있으며, 나머지 문제가 의심되는 상품은 알고리즘에 의해 식별된 후 수동으로 검토됩니다.
첫 번째 섹션에서는 제품 리뷰가 필요한 이유와 리뷰 내용을 소개했으며, 현재 비즈니스에서 수작업 리뷰가 직면하는 몇 가지 문제점을 분석했습니다. 알고리즘을 통해 비즈니스 이점을 얻을 수 있습니다.
2장에서는 알고리즘 모듈을 자세히 소개합니다. 검토를 위해 나열된 항목에 따라 세 가지 다른 작업을 해결하기 위해 세 가지 방법을 채택했습니다. 또한 알고리즘 구현을 위해 높은 재현율과 예측 정확도를 희생하는 솔루션과 이 솔루션의 타당성을 소개합니다. 마지막으로 알고리즘을 통해 달성한 결과를 제시합니다.
위 내용은 이미지 알고리즘은 효율성을 향상하고 제품 검토를 전송하는 데 도움이 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
