arXiv論文“VectorFlow: Combining Images and Vectors for Traffic Occupancy and Flow Prediction“，2022年8月9日，清華大學工作。
預測道路智體的未來行為是自主駕駛中的關鍵任務。雖然現有模型在預測智體未來行為方面取得了巨大成功，但有效預測多智體聯合一致的行為仍然是一個挑戰。最近，有人提出了occupancy flow fields（OFF）表示法，透過佔用網格和流的組合來表示道路智體的聯合未來狀態，支持聯合一致的預測。
這項工作提出一種新的occupancy flow fields預測器，從光柵化交通影像中學習特徵的影像編碼器，和捕捉連續智體軌跡和地圖狀態資訊的向量編碼器，二者結合起來，產生準確的佔用和流預測。在產生最終預測之前，兩個編碼特徵由多個注意模組融合。該模型在Waymo開放資料集佔用和串流預測挑戰（Occupancy and Flow Prediction Challenge）中排名第三，在遮蔽佔用率和預測任務（occluded occupancy and flow prediction task）中實現了最佳效能。
OFF表示（“Occupancy Flow Fields for Motion Forecasting in Autonomous Driving“，arXiv 2203.03875，3，2022）是一種時空網格，其中每個網格單元包括i）任何智體佔用單元的機率和ii）表示佔用該單元智體運動的流。其提供了更好的效率和可擴展性，因為預測occupancy flow fields的計算複雜性與場景中道路智體的數量無關。
如圖是OFF框架圖。編碼器結構如下。第一層接收所有三種類型的輸入點，並用PointPillars啟發的編碼器進行處理。交通燈和道路點直接放置在網格中。智體在每個輸入時間步t的狀態編碼是，從每個智體BEV框內均勻採樣固定大小的點網格，並把這些點與相關智體狀態屬性（包括時間t的one-hot編碼）放置在網格。每個pillar為其包含的所有點輸出一個嵌入。解碼器結構如下。第二級接收每個pillar嵌入作為輸入，並產生每個網格單元佔用和流預測。解碼器網路基於EfficientNet，用EfficientNet作為主幹來處理每個pillar嵌入得到特徵映射（P2，…P7），其中Pi從輸入下採樣2^i。然後用BiFPN網路以雙向方式融合這些多尺度特徵。然後，用最高解析度特徵映射P2在所有時間步回歸所有智體類K的佔用和流預測。具體地，解碼器為每個網格單元輸出一個向量，同時預測佔用和流。
針對本文，做以下問題設定：給定場景中交通智體1秒的歷史和場景上下文，如地圖座標，目標是預測i）未來觀察到的佔用率，ii）未來遮蔽的佔用率，以及iii）在一個場景中未來8個路點上所有車輛的未來流，其中每個路點覆蓋1秒的間隔。
將輸入處理為光柵化影像和一組向量。為了獲得影像，在給定觀察智體軌跡和地圖資料的情況下，相對於自動駕駛汽車（SDC）的局部座標，在過去的每個時間步驟中創建一個光柵化網格。為了獲得與光柵化影像一致的向量化輸入，遵循相同的變換，相對於SDC的局部視圖，旋轉和移動輸入智體和地圖座標。
編碼器包含兩個部分：編碼光柵化表示的VGG-16模型，和編碼向量化表示的VectorNe模型。透過交叉注意模組將向量化特徵與VGG-16最後兩步驟的特徵進行融合。透過FPN-式樣網絡，融合後的特徵上採樣到原始分辨率，作為輸入的光柵化特徵。
解碼器是單一2D卷積層，將編碼器輸出對應到occupancy flow fields預測，該預測包括一系列8網格圖，表示未來8秒內每個時間步的佔用和流預測。
如圖：
用torchvision的標準VGG-16模型，作為光柵化編碼器，並遵循VectorNet（代碼https://github.com/Tsinghua -MARS-Lab/DenseTNT）的實作。 VectorNet的輸入包含i）一組形狀為B×Nr×9的道路元素向量，其中B是批次大小，Nr=10000是道路元素向量的最大數，最後一個維度9表示每個向量和向量ID中兩個端點的位置（x，y）和方向（cosθ，sinθ）；ii）一組形狀為B×1280×9的智體向量，包括場景中最多128個智體的向量，其中每個智體具有來自觀察位置的10個向量。
遵循VectorNet，首先根據每個交通元素的ID運行局部圖，然後在所有局部特徵上運行全局圖，獲得形狀為B×128×N的向量化特徵，其中N是交通元素的總數，包括道路元素和智體。透過MLP層將特徵的大小進一步增加四倍，獲得最終的向量化特徵V，其形狀為B×512×N，其特徵大小與影像特徵的通道大小一致。
VGG每個層級的輸出特徵表示為｛C1、C2、C3、C4、C5｝，相對於輸入影像和512隱藏維，跨步長（strides）為｛1、2、4、 8、16｝像素。透過交叉注意模組將向量化特徵V與形狀為B×512×16×16的光柵化影像特徵C5融合，獲得相同形狀的F5。交叉注意的query項是影像特徵C5，扁平為有256個令牌（tokens）的B×512×256形狀，Key和Value項是具有N個令牌的向量化特徵V。
接著在通道維上連接F5和C5，經過兩個3×3卷積層，得到形狀為B×512×16×16的P5。 P5透過FPN風格的2×2上取樣模組做上取樣並與C4（B×512×32x32）連接，產生和C4一樣形狀的U4。之後在V和U4之間執行另一輪融合，遵循相同的程序，包括交叉注意，獲得P4（B×512×32×32）。最後，P4由FPN式樣網路逐漸上取樣，並與｛C3，C2，C1｝連接，產生形狀為B×512×256×256的EP1。將P1通過兩個3×3 卷積層，得到形狀為B×128×256的最終輸出特徵。
解碼器是單一2D卷積層，輸入通道大小為128，輸出通道大小為32（8個路點×4個輸出維度）。
結果如下：
以上是VectorFlow：結合影像和向量做交通佔用和流預測的詳細內容。更多資訊請關注PHP中文網其他相關文章！
