CocoCaptions dalam PyTorch (3)

Siaran ini menunjukkan penggunaan kelas CocoCaptions daripada pustaka torchvision.datasets dengan pelbagai set data MS COCO. Contoh-contoh menggambarkan memuatkan dan memaparkan imej daripada subset unlabeled2017. Walau bagaimanapun, percubaan untuk mengakses data daripada stuff_train2017, stuff_val2017, stuff_train2017_pixelmaps dan stuff_val2017_pixelmaps mengakibatkan ralat, menunjukkan ketidakserasian dengan CocoCaptions. Coretan kod dan outputnya disediakan di bawah.

Kod dan Output:

Kod ini cuba memuatkan dan menggunakan subset berlainan set data MS COCO menggunakan CocoCaptions. Subset unlabeled2017 berjaya dimuatkan dan membenarkan paparan imej. Subset lain (mengandungi data "bahan" dan "panoptik") menyebabkan ralat, menyerlahkan pengehadan penggunaan CocoCaptions dengan struktur data khusus ini.

from torchvision.datasets import CocoCaptions
import matplotlib.pyplot as plt

# ... (CocoCaptions instantiation code as provided in the input) ...

# ... (len() calls and error handling code as provided in the input) ...

unlabeled2017_data[2]  # Displays image and empty caption list
unlabeled2017_data[47] # Displays image and empty caption list
unlabeled2017_data[64] # Displays image and empty caption list

def show_images(data, ims, main_title=None):
    file = data.root.split('/')[-1]
    fig, axes = plt.subplots(nrows=1, ncols=3, figsize=(14, 8))
    fig.suptitle(t=main_title, y=0.9, fontsize=14)
    for i, axis in zip(ims, axes.ravel()):
        if not data[i][1]:
            im, _ = data[i]
            axis.imshow(X=im)
    fig.tight_layout()
    plt.show()

ims = (2, 47, 64)
show_images(data=unlabeled2017_data, ims=ims, main_title="unlabeled2017_data")

Fungsi show_images memaparkan tiga imej daripada subset unlabeled2017_data.

Kesimpulan:

Percubaan ini menunjukkan bahawa walaupun CocoCaptions berfungsi dengan subset data MS COCO tertentu (seperti unlabeled2017), ia tidak serasi secara langsung dengan semua anotasi. Ralat yang dihadapi menunjukkan bahawa anotasi "bahan" dan "panoptik" memerlukan pendekatan yang berbeza atau kelas set data yang berbeza untuk pemuatan dan penggunaan yang betul. Penyiasatan lanjut ke dalam struktur anotasi ini dan kelas set data torchvision yang tersedia adalah perlu untuk capaian data yang berjaya.

Atas ialah kandungan terperinci CocoCaptions dalam PyTorch (3). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!