人工智慧已經進入大模型時代，這將徹底改變AI 在各行各業落地的模式，也對各行業的研發及技術從業者提出了新的AI 技能要求。
為了協助大模型技術升級，我們舉辦了名為「Llama 2 大模型演算法與應用實踐」的活動，這個AI技術論壇已經圓滿結束。活動當天，位於北京望京浦項中心B座二層的多功能廳座無虛席，來自全國十餘個城市的200名與會者紛紛到場。在四位大模型技術專家的指導下，我們有系統地學習了Llama 2底層大模型技術，並親自動手搭建了自己的專屬大模型，共同高效地完成了大模型技術的升級
內容高品質、內容超過預期、講解精彩深入、現場問答交流具有啟發性、服務全面周到……與會者給予活動廣泛好評，並表達了對更多層次豐富、內容深入的技術活動的期待。
此外，因城市距離、行程檔期等原因，許多對活動有興趣的朋友遺憾未能來到現場。為了回應大家的學習實務需求，本站官網知識站（https://vtizr.xet.tech/s/1GOWfs）現上線本場論壇現場影片。全套影片售價 699 元（購買成功後請新增本站助手 ID：13661489516，索取配套會前後學習資料包）。立即購課學習，開啟你的大模型技術升級之旅！
系統講解：最新技術進展與前沿應用案例
#上海交通大學清源研究院長聘教軌副教授、生成式人工智慧研究組（GAIR）負責人劉鵬飛
「把模型訓練得夠透徹，在一個比較小的模型裡也可以達到一個非常好的性能。」第一位主講人劉鵬飛專注於自然語言的預訓練、生成與評估等研究方向。
Llama 2是市場上原創程度最高、訓練技術細節最透明、口碑最好的預訓練語言模型，具有極高的研究價值。本次劉鵬飛以《Llama 2大模型技術解讀》為主題，從LLaMA的誕生背景、重要概念、Llama 2的訓練技術以及對齊技術出發，深入解讀了Llama 2及其Chat版本所涉及的技術棧細節，並分享了他的最佳化實務經驗，包括資料來源配比權重、上取樣等技術細節，並探討了大模型發展的突破難點
老劉說NLP技術公眾號作者、開源愛好者劉煥勇
重新寫成：基礎模型對算力和演算法要求非常高，因此在更多的行業應用中，選擇基於基礎模型構建行業大模型，並進一步細分領域。劉煥勇主講人介紹：「基於行業大模型，基礎模型中所包含的垂直領域數據較少，容易產生幻覺，效果不如人意。」雖然Llama 並非中文市場的最佳選擇，但由於其率先開源並可商用，所累積的豐富產業落地案例非常珍貴
他以《基於Llama 系列開源模型進行行業落地的實踐範式與案例解讀》為題，分享了Llama 系列模型與其他開源模型的對比及其漢化機制，解讀了基於Llama 系列模型的領域微調模型案例、「基於LLama 系列模型知識庫增強」的落地應用案例。總結了做行業領域模型微調的算力條件、數據數量和品質要求、ROI 和場景等行業微調模型的必備條件，強調了大模型落地行業的形態可能是多源異構數據、文檔智能分析、知識庫規範。
LinkSoul.AI CEO、Chinese Llama 2 7B 專案發起人史業民
隨著大模型技術的發展，多模態大模型越來越成為驅動具身智慧和更好使用者體驗的關鍵，必將成為下一代人工智慧技術的關鍵組成部分。基於 LLM 的改造是目前效果最好的多模態模型方案之一，具有極大的研究和實踐價值。
史業民主講了《基於Llama 2 的多模態大模型技術與實踐》的主題，分享了多模態模型的模式和原理，並深入探討了視覺多模態大模型和語音多模態大模型的改進實踐。他提到了舊模型如何支援新的模態，以及在考慮新能力時需要注意的重點。此外，他還介紹了多模態改進的幾種方案，並強調了訓練細節上需要注意的事項。史業民認為，多模態模型的最大挑戰在於數據，他分享了一些基於模型生成圖片或圖文數據的方法和路徑
在本次活動研究中，與會者最關注的產業應用內容是"量化與微調」。蘇洋在分享中介紹了《Llama 2 開源模型量化及低成本微調實戰》的專題內容，包括開源模型生態與Llama 生態的現狀，主流的量化與微調方案，以及這兩個事情的簡易程度
「微調建議使用開源業界分享出來的Sota 方案，而不是盲目追求原創。」他強調量化和微調在遵循各種原理的基礎上，具有相對較強的實踐性。實際的模型量化過程不是簡單的一刀切，有非常多的維度、參數，在每一層、每一列都要進行最合理的量化或轉化，而微調也需要考慮具體的訓練環境、硬體環境和基礎系統環境，蘇洋對此展開了深入講解。
在進行了詳細的技術解讀和案例解析之後，史業民和蘇洋一起帶領現場與會者，上手進行了大模型訓練、量化和微調實踐。
史業民重點講解了基礎模型選取、訓練技巧和經驗，包括基於一個base model 從頭訓練和基於開源模型做詞表擴充訓練兩條路徑，以及對應的架構、模型大小、是否可商用、是否擴詞表等篩選條件，並回答了SFT 資料集等相關問題。
蘇洋帶領現場與會者完成了一系列操作，包括部署鏡像、載入模型、載入資料集，設定 QLoRA 的參數，配置 SFT 參數，使用 transformer 參數套件等。透過微調成功運行了一個私屬大模型，幫助與會者更好地吸收了本次活動的內容乾貨
未來，我們將繼續關注和追踪行業的最新動態和開發者的需求，持續舉辦高品質的大型技術活動，幫助開發者快速提升工程實務和創新應用能力，為迎接大模型時代做好準備。歡迎大家持續關注我們的AI技術論壇活動
以上是線上開售！首場機器之心 AI 技術論壇圓滿收官，這些大模型技術乾貨值得反覆觀看的詳細內容。更多資訊請關注PHP中文網其他相關文章！
