Untuk mengalih keluar hingar dalam imej pendarfluor dengan cara yang diawasi sendiri, pasukan Tsinghua telah membangunkan kaedah Transformer pengurangan redundansi ruang

Nisbah isyarat-ke-bunyi yang tinggi bagi pengimejan pendarfluor adalah penting untuk visualisasi fenomena biologi yang tepat, walau bagaimanapun, isu hingar kekal sebagai salah satu cabaran utama kepada sensitiviti pengimejan.

Pasukan penyelidik di Universiti Tsinghua menyediakan Transformer denoising redundansi spatial (SRDTrans) untuk menghilangkan hingar dalam imej pendarfluor dengan cara yang diselia sendiri.

Pasukan mencadangkan strategi pensampelan baharu untuk mengekstrak pasangan latihan ortogonal bersebelahan berdasarkan redundansi spatial dan menghapuskan pergantungan pada kelajuan pengimejan yang tinggi. Di samping itu, mereka membangunkan seni bina Transformer spatiotemporal ringan yang mampu menangkap kebergantungan jauh dan ciri resolusi tinggi pada kos pengiraan yang rendah.

SRDTrans mampu mengekalkan maklumat frekuensi tinggi tanpa menyebabkan kelicinan struktur yang berlebihan atau herotan kesan pendarfluor. Tambahan pula, SRDTrans tidak bergantung pada prosedur pengimejan khusus dan andaian sampel, menjadikannya sesuai untuk pengembangan ke dalam pelbagai modaliti pengimejan dan aplikasi biologi.

Kajian itu bertajuk "Pengubah redundansi ruang untuk penyahnodahan imej pendarfluor diselia sendiri" dan diterbitkan dalam "Sains Pengiraan Alam" pada 11 Disember 2023.

Perkembangan pesat teknologi pengimejan in vivo membolehkan penyelidik memerhati struktur dan aktiviti biologi pada mikron dan juga skala nano. Mikroskopi pendarfluor, sebagai kaedah pengimejan yang popular, membantu mendedahkan mekanisme fisiologi dan patologi baharu dengan resolusi spatiotemporal yang tinggi dan kekhususan molekul. Matlamat utama mikroskopi pendarfluor adalah untuk mendapatkan imej yang bersih dan jelas yang mengandungi maklumat sampel yang mencukupi untuk memastikan ketepatan analisis hiliran dan menyokong kesimpulan yang yakin.

Namun, disebabkan oleh pengaruh pelbagai faktor biofizikal dan biokimia, pengimejan pendarfluor mengalami pelbagai batasan dalam operasi praktikal. Contohnya, kecerahan, fototoksisiti, dan pelunturan foto fluorofor semuanya boleh memberi kesan negatif pada hasil pengimejan. Dalam kes pengehadan foton, hingar tangkapan foton yang wujud boleh mengurangkan nisbah isyarat-ke-bunyi (SNR) imej dengan ketara, terutamanya di bawah keadaan pencahayaan rendah dan pemerhatian berkelajuan tinggi. Faktor-faktor ini menjadikan kualiti dan kebolehpercayaan pengimejan pendarfluor mencabar dan perlu diatasi dan dioptimumkan dalam amalan.

Pelbagai kaedah telah dicadangkan untuk menghilangkan hingar dalam imej pendarfluor. Algoritma denoising tradisional berdasarkan penapisan berangka dan pengoptimuman matematik mempunyai prestasi yang tidak memuaskan dan kebolehgunaan terhad. Dalam beberapa tahun kebelakangan ini, pembelajaran mendalam telah menunjukkan pencapaian yang luar biasa dalam bidang denoising imej.

Dengan latihan berulang menggunakan set data ground truth (GT), rangkaian saraf dalam dapat mempelajari hubungan pemetaan antara imej bising dan rakan sejawatannya yang bersih. Keberkesanan kaedah penyeliaan ini bergantung terutamanya pada imej GT berpasangan.

Mendapatkan imej yang bersih dengan pendaftaran piksel demi piksel adalah satu cabaran besar apabila memerhati aktiviti organisma hidup, kerana sampel sering mengalami perubahan dinamik yang pantas. Untuk mengurangkan percanggahan ini, beberapa kaedah penyeliaan sendiri telah dicadangkan untuk mencapai denoising yang lebih terpakai dan praktikal dalam pengimejan pendarfluor.

Untuk mendapatkan prestasi denoising yang lebih baik, keupayaan untuk mengekstrak maklumat spatial global dan korelasi temporal jarak jauh secara serentak adalah penting, yang kekurangan rangkaian saraf konvolusi (CNN) disebabkan oleh lokaliti kernel konvolusi . Di samping itu, kecenderungan spektrum yang wujud menjadikan CNN cenderung untuk menyesuaikan ciri frekuensi rendah secara keutamaan sambil mengabaikan ciri frekuensi tinggi, tidak dapat tidak menghasilkan hasil denoising yang terlalu lancar.

Pasukan penyelidik di Universiti Tsinghua mencadangkan pengubah penahan redundansi ruang (SRDTrans) untuk menyelesaikan dilema ini.

Rajah: Prinsip SRDTrans dan penilaian prestasi. (Sumber: kertas)

Di satu pihak, para penyelidik mencadangkan strategi persampelan berlebihan ruang untuk mengekstrak pasangan latihan tiga dimensi (3D) daripada data selang masa mentah dalam dua arah ortogon.

Skim ini tidak bergantung pada persamaan antara dua bingkai bersebelahan, jadi SRDTrans sesuai untuk aktiviti yang sangat pantas dan kelajuan pengimejan yang sangat rendah, yang merupakan pelengkap kepada DeepCAD yang sebelum ini dicadangkan oleh pasukan untuk mengeksploitasi redundansi sementara.

Memandangkan SRDTrans tidak bergantung pada sebarang andaian tentang mekanisme kontras, model hingar, dinamik sampel dan kelajuan pengimejan. Oleh itu, ia boleh dengan mudah diperluaskan kepada sampel biologi lain dan modaliti pengimejan, seperti pengimejan voltan membran, pengesanan protein tunggal, mikroskop kepingan cahaya, mikroskop confocal, mikroskop medan cahaya dan mikroskop resolusi super.

Sebaliknya, para penyelidik mereka bentuk rangkaian transformasi spatiotemporal yang ringan untuk mengeksploitasi sepenuhnya korelasi jarak jauh. Mekanisme interaksi ciri yang dioptimumkan membolehkan model memperoleh ciri resolusi tinggi dengan bilangan parameter yang kecil. Berbanding dengan CNN klasik, SRDTrans yang dicadangkan mempunyai persepsi global yang lebih kukuh dan keupayaan penyelenggaraan frekuensi tinggi, dan mampu mendedahkan corak spatiotemporal berbutir halus yang sebelum ini sukar untuk dibezakan.

Pasukan menunjukkan prestasi pengurangan hingar unggul SRDTrans dalam dua aplikasi perwakilan. Yang pertama ialah mikroskop penyetempatan molekul tunggal (SMLM), di mana bingkai bersebelahan adalah subset rawak fluorofor.

Rajah: Menggunakan SRDTrans pada data SMLM percubaan. (Sumber: kertas)

Yang lain ialah pengimejan kalsium dua foton bagi populasi neuron 3D yang besar pada halaju volumetrik serendah 0.3Hz. Keputusan kualitatif dan kuantitatif yang meluas menunjukkan bahawa SRDTrans boleh berfungsi sebagai alat penyah bunyi yang penting untuk pengimejan pendarfluor untuk memerhati pelbagai fenomena selular dan subselular.

Rajah: Pengimejan kalsium yang sangat sensitif bagi volum saraf yang besar. (Sumber: kertas)

SRDTrans juga mempunyai beberapa had, terutamanya dalam andaian asas bahawa piksel bersebelahan harus mempunyai struktur anggaran. SRDTrans akan gagal jika kadar pensampelan spatial terlalu rendah untuk memberikan redundansi yang mencukupi. Satu lagi risiko yang berpotensi ialah keupayaan untuk membuat generalisasi, kerana seni bina rangkaian ringan SRDTrans lebih sesuai untuk tugas tertentu.

Percaya bahawa melatih model khusus untuk data khusus ialah cara yang paling boleh dipercayai untuk menggunakan pembelajaran mendalam untuk penyahnodahan imej pendarfluor. Oleh itu, model baharu harus dilatih untuk memastikan hasil yang optimum apabila parameter pengimejan, modaliti dan sampel berubah.

Apabila pembangunan penunjuk pendarfluor bergerak ke arah kinetik yang lebih pantas, kelajuan pengimejan yang diperlukan untuk memantau dinamik biologi pada tahap milisaat untuk merekodkan aktiviti pantas ini terus berkembang. Mendapatkan kadar persampelan yang mencukupi menjadi semakin mencabar untuk menolak kaedah yang bergantung pada lebihan sementara. Perspektif pasukan adalah untuk mengisi jurang ini dengan berusaha untuk mengeksploitasi lebihan spatial sebagai alternatif untuk membolehkan denoising diselia sendiri dalam lebih banyak aplikasi pengimejan. Walaupun kes yang sempurna untuk pensampelan yang berlebihan adalah kadar persampelan spatial dua kali lebih tinggi daripada persampelan nyquist yang terhad, dengan itu memastikan bahawa dua piksel bersebelahan mempunyai isyarat optik yang hampir sama; susulan adalah mencukupi untuk membimbing latihan rangkaian.

Walau bagaimanapun, ini tidak bermakna strategi persampelan berlebihan ruang yang dicadangkan boleh menggantikan sepenuhnya pensampelan berlebihan temporal, kerana kajian ablasi telah menunjukkan bahawa pensampelan berlebihan temporal boleh mencapai hasil yang lebih baik dalam pengimejan berkelajuan tinggi jika dilengkapi dengan seni bina rangkaian yang sama. persembahan bagus. Kelebihan SRDTrans berbanding DeepCAD pada kelajuan pengimejan yang tinggi sebenarnya disebabkan oleh seni bina Transformer.

Secara amnya, redundansi ruang dan redundansi temporal ialah dua strategi pensampelan pelengkap yang boleh mencapai latihan penyeliaan sendiri rangkaian penyahimejan selang masa pendarfluor. Strategi pensampelan mana yang digunakan bergantung pada lebihan yang lebih besar dalam data. Perlu diingat bahawa dalam kebanyakan kes, tiada redundansi mencukupi untuk menyokong strategi pensampelan semasa. Pembangunan kaedah denoising penyeliaan kendiri khusus atau lebih umum akan mempunyai nilai yang berkekalan untuk pengimejan pendarfluor.

Pautan kertas: https://www.nature.com/articles/s43588-023-00568-2

Atas ialah kandungan terperinci Untuk mengalih keluar hingar dalam imej pendarfluor dengan cara yang diawasi sendiri, pasukan Tsinghua telah membangunkan kaedah Transformer pengurangan redundansi ruang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!