최적의 운송과 공정성의 적용

번역가 | Li Rui

리뷰어 | Sun Shujuan

최적의 운송은 경제학에서 시작되었으며 이제는 자원을 가장 잘 배분하는 방법으로 개발되었습니다. 최적 수송 이론의 기원은 1781년으로 거슬러 올라갑니다. 당시 프랑스 과학자 Gaspard Monge는 "지구를 움직이는" 방법과 나폴레옹 군대를 위한 요새 건설 방법을 연구했습니다. 종합적으로, 최적의 운송이란 자원이 이동해야 하는 총 거리를 최소화하면서 모든 자원(철광석 등)을 출발점(광산)에서 끝점(제철소)으로 이동하는 방법에 대한 문제입니다. 수학적으로 연구자들은 출발지와 해당 목적지 사이의 전체 거리를 최소화하면서 각 출발지를 목적지에 매핑하는 함수를 찾고 싶었습니다. 무해한 설명에도 불구하고 멍거의 개념으로 알려진 문제의 원래 개념에 대한 진전은 거의 200년 동안 정체되었습니다.

1940년대 소련 수학자 레오니드 칸토로비치(Leonid Kantorovich)는 문제의 공식화를 현대 버전으로 조정했는데, 이는 현재 몽게 칸토로프(Monge Kantorov)의 이론으로 알려져 있으며, 이는 해결책을 향한 첫 번째 단계였습니다. 여기서 참신한 점은 동일한 광산의 일부 철광석이 다른 철강 공장에 공급될 수 있다는 것입니다. 예를 들어, 광산에서 나오는 철광석의 60%는 철강 공장에 제공될 수 있고, 광산에서 나오는 철광석의 나머지 40%는 다른 철강 공장에 제공될 수 있습니다. 수학적으로 이는 더 이상 함수가 아닙니다. 이제 동일한 출발지가 잠재적으로 여러 대상에 매핑되기 때문입니다. 이에 반해, 이는 출발지 분포와 도착지 분포 사이의 결합으로 알려져 있으며, 아래 그림과 같이 파란색 분포(원산지)에서 광산을 선택하고 그림을 따라 수직으로 이동하면 철광석이 어디로 보내지는지를 알 수 있습니다. 철강 공장(목적지).

이 새로운 개발의 일환으로 Kantorivich는 Wasserstein 거리라는 중요한 개념을 도입했습니다. 지도의 두 지점 사이의 거리와 유사하게 Wasserstein 거리(원래 시나리오에서 영감을 받은 불도저 거리라고도 함)는 이 경우 파란색과 자홍색 분포와 같은 두 분포 사이의 거리를 측정합니다. 모든 철 광산이 모든 철 공장에서 멀리 떨어져 있으면 광산 분포(위치)와 철강 공장 분포 사이의 Wasserstein 거리가 커집니다. 이러한 새로운 개선에도 불구하고 철광석 자원을 운송하는 최선의 방법이 있는지 여부는 물론 어떤 방법인지는 여전히 불분명합니다. 마침내 1990년대에 수학적 분석과 최적화의 개선으로 문제가 부분적으로 해결되면서 이론이 급속히 발전하기 시작했습니다. 21세기에는 최적의 교통수단이 입자물리학, 유체역학, 심지어 통계학, 기계학습 등 다른 분야로 확산되기 시작했습니다.

현대 시대의 최적 운송

새로운 이론이 폭발적으로 증가하면서 최적 운송은 지난 20년 동안 수많은 새로운 통계 및 인공 지능 알고리즘의 중심이 되었습니다. 거의 모든 통계 알고리즘에서 데이터는 기본 확률 분포를 갖는 것으로 명시적으로 또는 암시적으로 모델링됩니다. 예를 들어, 개인 소득에 대한 데이터가 여러 국가에서 수집되면 각 국가에서 해당 인구의 소득에 대한 확률 분포가 발생합니다. 인구의 소득 분포를 기준으로 두 국가를 비교하려면 두 분포 간의 격차를 측정하는 방법이 필요합니다. 이것이 바로 교통 최적화(특히 Wasserstein 거리)가 데이터 과학에서 매우 유용한 이유입니다. 그러나 Wasserstein 거리는 두 확률 분포 사이의 거리를 측정하는 유일한 방법은 아닙니다. 실제로 물리학 및 정보 이론과의 연결로 인해 L-2 거리와 Kullback-Leibler(KL) 발산이라는 두 가지 옵션이 역사적으로 더 일반적이었습니다. 이러한 대안에 비해 Wasserstein 거리의 주요 장점은 거리를 계산할 때 값과 확률을 모두 고려하는 반면 L-2 거리와 KL 발산은 확률만 고려한다는 것입니다. 아래 이미지는 세 가지 가상 국가의 소득에 대한 인공 데이터 세트의 예를 보여줍니다.

이 경우 분포가 겹치지 않으므로 파란색과 자홍색 분포 사이의 L-2 거리(또는 KL 발산)는 파란색과 녹색 분포 사이의 L-2 거리와 거의 같습니다. . 반면, 파란색과 마젠타 분포 사이의 Wasserstein 거리는 파란색과 녹색 분포 사이의 Wasserstein 거리보다 훨씬 작을 것입니다. 그 이유는 그 값들 사이에 상당한 차이(수평 분리)가 있기 때문입니다. Wasserstein 거리의 이러한 속성은 분포 간의 차이, 특히 데이터 세트 간의 차이를 정량화하는 데 이상적입니다.

최적의 운송으로 공정성 달성

매일 대량의 데이터가 수집되면서 머신러닝은 많은 산업 분야에서 점점 더 보편화되고 있으며, 데이터 과학자들은 자신의 분석과 알고리즘이 이러한 현상을 지속시키지 않도록 점점 더 주의해야 합니다. 데이터의 일부 편차 및 편차는 영구적입니다. 예를 들어 주택 모기지 승인 데이터 세트에 신청자의 인종에 대한 정보가 포함되어 있지만 수집 과정에서 사용된 방법이나 무의식적인 편견으로 인해 소수자가 차별을 받은 경우 해당 데이터에 대해 훈련된 모델은 근본적인 편차를 반영합니다.

배송을 최적화하면 이러한 편견을 완화하고 두 가지 측면에서 공정성을 향상하는 데 도움이 될 수 있습니다. 첫 번째이자 가장 간단한 방법은 Wasserstein 거리를 사용하여 데이터 세트에 잠재적인 편향이 있는지 확인하는 것입니다. 예를 들어, 여성에게 승인된 대출 금액 분포와 남성에게 승인된 대출 금액 분포 사이의 Wasserstein 거리를 추정할 수 있습니다. Wasserstein 거리가 매우 크면, 즉 통계적으로 유의하면 잠재적인 편향이 의심될 수 있습니다. 두 그룹 사이에 차이가 있는지 테스트하는 이러한 아이디어는 통계학에서 2-표본 가설 테스트로 알려져 있습니다.

또는 기본 데이터 세트 자체가 편향된 경우 모델의 공정성을 강화하기 위해 최적 배송을 사용할 수도 있습니다. 이는 많은 실제 데이터 세트가 어느 정도 편향을 나타내고 편향되지 않은 데이터를 수집하는 데 비용이 많이 들고 시간이 많이 걸리거나 실행 불가능할 수 있으므로 실용적인 관점에서 유용합니다. 따라서 아무리 불완전하더라도 기존 데이터를 사용하고 모델이 이러한 편향을 완화하도록 노력하는 것이 더 실용적입니다. 이는 강력한 인구학적 동등성이라는 모델에 제약 조건을 적용하여 수행됩니다. 이는 모델 예측이 민감한 속성과 통계적으로 독립적이 되도록 강제합니다. 한 가지 접근 방식은 모델 예측의 분포를 민감한 속성에 의존하지 않는 조정된 예측의 분포에 매핑하는 것입니다. 그러나 예측을 조정하면 모델의 성능과 정확도도 변경되므로 모델 성능과 모델이 민감한 속성(예: 공정성)에 의존하는 정도 간에는 상충 관계가 있습니다.

예측을 가능한 한 적게 변경하여 최적의 모델 성능을 보장하는 동시에 새로운 예측이 민감한 속성과 무관하도록 보장하여 최적의 배송을 보장합니다. 이 조정된 모델에 의해 예측된 새로운 분포를 Wasserstein 중심이라고 하며 지난 10년 동안 많은 연구 주제였습니다. Wasserstein 무게 중심은 다른 모든 분포까지의 총 거리를 최소화한다는 점에서 확률 분포의 평균과 유사합니다. 아래 이미지는 Wasserstein 무게 중심(빨간색)과 함께 세 가지 분포(녹색, 파란색, 자홍색)를 보여줍니다.

위의 예에서 세 가지 가능한 값(미혼(파란색), 기혼)을 가질 수 있는 민감한 속성(예: 결혼 여부)이 포함된 데이터 세트를 기반으로 누군가의 연령과 소득을 예측하도록 모델이 구축되었다고 가정합니다. (녹색) 및 사별/이혼(자홍색). 산점도는 각기 다른 값에 대한 모델 예측의 분포를 보여줍니다. 그러나 새 모델의 예측이 사람의 결혼 상태를 알 수 없도록 이러한 값을 조정하려는 경우 이러한 각 분포는 최적의 운송을 사용하여 빨간색으로 무게 중심에 매핑될 수 있습니다. 모든 가치가 동일한 분포에 매핑되기 때문에 더 이상 소득과 연령을 기준으로 개인의 결혼 여부를 판단할 수 없으며 그 반대의 경우도 마찬가지입니다. 무게 중심은 모델의 충실도를 최대한 유지합니다.

비즈니스 및 정부 의사 결정에 사용되는 데이터 및 기계 학습 모델이 점점 더 보편화되면서 이러한 모델의 공정한 적용을 보장하는 방법에 대한 새로운 사회적, 윤리적 질문이 등장하게 되었습니다. 많은 데이터 세트에는 수집 방식의 특성으로 인해 일종의 편향이 포함되어 있으므로 이에 대해 훈련된 모델이 이러한 편향이나 역사적 차별을 악화시키지 않는 것이 중요합니다. 최적의 운송은 최근 몇 년 동안 증가하고 있는 이 문제를 해결하는 하나의 방법일 뿐입니다. 오늘날 최적의 교통 지도와 거리를 계산하는 빠르고 효율적인 방법이 있으므로 이 접근 방식은 최신 대규모 데이터 세트에 적합합니다. 사람들이 데이터 기반 모델과 통찰력에 점점 더 의존함에 따라 공정성은 데이터 과학의 핵심 문제가 되어 왔으며 앞으로도 계속 그럴 것이며 최적의 교통은 이 목표를 달성하는 데 중요한 역할을 할 것입니다.

원제: ​​Optimal Transport and its Application to Fairness​​​, 저자: Terrence Alsup​

위 내용은 최적의 운송과 공정성의 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!