本文將分享訓練ChatGPT（最新GPT-4模型版本）並產生報告的整個過程，並就ChatGPT使用過程中存在哪些常見的問題，如何使用ChatGPT來最大化提升學習、工作效率等問題進行探討。
以下是AI安全報告產生全過程。
優質的選題能夠幫助學術研究者快速確定報告的切入點，引導讀者捕捉報告的主旨，使整個報告呈現更清晰的架構和邏輯。透過向ChatGPT介紹報告的背景或提供關鍵字、概述，ChatGPT能夠在幾秒鐘內產生選題，供研究者參考。
我們在提問時，可要求ChatGPT同時產生多個選題，這在幫助學術研究者迅速篩選出最切合需求的標題的同時，也可指導研究者跳出思維定式，拓寬研究者的思路。
結合實際情況，我們需引導ChatGPT對產生的標題進行調整與最佳化，讓最終報告的選題更貼合實際需求、更有針對性。
值得一提的是，ChatGPT的語言能力可謂令人驚喜，「小紅書風格」、「知乎體」統統不在話下。為提升報告的閱讀效果和傳播力，我們可對標題的措詞與語言風格進行要求。
若需在標題風格、措詞均與預期沒有明顯偏差的情況下，對標題進行進一步改進，也可向 ChatGPT直接發出「最佳化」指令。同樣，在輸入指令時，最快速有效的方式是命令ChatGPT一次提供多個回答，以更迅速、廣泛地定位結果。
在確定選題後，我們可以利用ChatGPT建立一份最基礎的報告大綱，這極大程度上縮短了報告前期桌面調查、資料整理和篩選的過程，為後續研究提供基本的想法。
在此之前，我們首先要確保大綱的整體脈絡與我們的預期基本相符，而不存在重大的離題、偏題等情況，從而節省後期糾錯、調整、優化的時間成本。
為了實現這個結果，我們需要先讓ChatGPT產生一份報告摘要。
很顯然，上述回答出現了"嘎然而止"的情況。根據官方，GPT-4的輸入、輸出上限在2.5萬個字符，約等於2600個漢字。而我們的試驗結果顯示，中文漢字輸入、輸出內容通常在500-1000個字元內即達到上限。
好在，因字數限製而中斷的回答可在引導下繼續輸出結果。進行此操作時需注意評估先前生成內容中斷的位置，以大致判斷遺漏內容所佔比例，若中斷位置接近尾聲，將有較高的成功率使模型繼續回答。
摘要內容主要以幫助我們框定報告整體站位、明確報告大綱範圍為目的，針對摘要中可能出現的用詞不當、邏輯性、段落聯結性等問題，我們在此階段無需過多關注。
由於這一步驟處在報告創建的最早期，具體內容通常與最終產生的報告結果存在較大的出入，摘要中的文字內容將不會被我們直接沿用於報告中。因此我們只需檢查摘要的重點與涉及範圍，經過增減與修改後即可產生報告大綱。
可以見得，ChatGPT產生的大綱乍看之下已經具備基本的結構與邏輯性，但對於深層的邏輯關係處理能力仍然十分有限。
例如，第六章節的標題"提升AI安全意識與教育"屬於發展建議的一部分，與第七章"結論與建議"屬於包含而非並列關係。又如第五部分"AI風險的治理與監管"部分下的四個小標題均聚焦於針對AI風險治理的建議，且建議結果存在內容空泛、缺乏實操性的缺點，而未涵蓋有關AI風險治理的建議，且建議結果存在內容空泛、缺乏實操性的缺點，而未涵蓋有關AI監管現狀及發展的任何內容。
因此我們需要對大綱的架構、整體邏輯性、觀點合理性進行詳細的檢查，同時結合報告自身需求對大綱內容進行增減與調整。
跳脫「直覺思考」是這個過程的核心，ChatGPT模型與人腦構造最本質的差距在於，對非線性情境的處理能力與基於直覺的判斷力。認清這點後，我們需將問題描述設定地盡可能詳細、具體、邏輯清晰，可藉助分點式的描述風格便於ChatGPT更精確地理解需求。
以上產生結果同時反映了ChatGPT具備的能力與存在的限制。一方面ChatGPT準確了解「第六章融入第七章」、「第五章調整報告架構」、「引言的切入點」等指令並作出回應。另一方面，ChatGPT的反應內容相對機械化，對常識、直覺性知識的認知程度也非常有限。
以「將第六章融入至第七章」的指令為例，ChatGPT機械地將原先第六章下的小標題直接挪用至第7章（5、6、7點）。顯然， 5、6、7點均屬於"提升AI安全意識與教育"的一個部分，與其他幾項建議內容無法直接構成並列關係，造成大綱結構的明顯失衡。又例如針對第五章框架修改的指令，ChatGPT直接對輸入指令進行了原封不動的照搬。
我們引導ChatGPT對以上問題進行逐一最佳化，例如要求ChatGPT將第六章節的三個標題融合為一個點：
再一次，ChatGPT雖正確理解了指令內容，其執行操作僅僅是機械地將5、6、7標題內容合併在一個長句子中，此形式的標題幾乎不可能出自人類研究者的手中，這是源於人類研究者幾乎無需思考便能對報告標題的格式有一個基本的預設（簡練、重點明確、概括性強等），而此類常識性的認知正是ChatGPT所不具備的。
訓練進行到這一步，我們不難得出一個大致結論：不要忽視對ChatGPT交代那些人類思維習慣中已成為常識、先驗性的知識背景，不要預設ChatGPT能夠產生任何指令以外的內容，盡可能具體地描述輸出要求。
根據上述經驗總結，我們再次嘗試訓練ChatGPT，對此部分標題進行優化，限定了第六章第5點標題的篇幅，並列出具體的參考標準（與1、2、3 、4點標題的篇幅一致），終於得到了相對滿意的結果。
報告正文攥寫是一項層層剝離、抽絲剝繭的工作。概括而言，訓練的方法與順序需遵循以下基本原則：先確認大章節方向、再確認小章節方向、最後優化小章節內容。
為盡可能縮短後期修正、返工的時間成本，我們需要先確保每一章節產生的內容與預期不存在重大偏離，並根據ChatGPT回答內容對每一章節的框架脈絡進行調整。
以第三章節內容為例，我們首先要求ChatGPT對即將產生的內容進行描述。
初看ChatGPT的回答思路並不存在明顯問題，且具備一定的條理。仔細閱讀生成結果即暴露出一個ChatGPT的常見缺陷：點與點之間的內容互相割裂，甚至出現交叉重合的情況。
例如，針對深度學習所存在的風險，ChatGPT給出的答案是“過擬合”、“對抗樣本攻擊”，而對於自然語言處理技術所存在的風險，ChatGPT的答案則包括了「模型洩漏敏感資訊」。
這些風險皆屬於不同AI技術所面臨的共通性威脅，若依照上述思路產生報告，此章節每一針對特定AI技術領域風險的描述中，均將包含大量AI技術的通用性風險，造成報告結構的混亂與內容的重疊。
我們針對上述問題對第三章框架進行調整，要求ChatGPT描述三大核心AI技術領域存在的網路安全風險中的共通性與差異。
收到指令的ChatGPT順利對「共性風險」與「特有風險」部分進行了區分。
前期一切準備就緒，即可進行最核心、最耗時的環節－報告正文內容的攥寫。
不難看出，此階段的輸出結果更像是一份大綱，後續環節涉及小標題的篩選與確認，以及具體內容的延展與調整。
快速擴充內容最省時的做法是，直接要求ChatGPT對生成內容進行補充，可利用「擴充」、「延伸」、「具體說明」等關鍵字，並限定擴充篇幅。
以上便是最粗略的報告生成步驟，此後的工作重點主要集中在最為漫長瑣碎的結果糾錯、內容調整與優化環節，注意遵從先核實資訊真實性與準確性、再完善結構與內容的基本原則。
上述基礎架構的搭建看似並不復雜，如果認為輸入簡單的指令就萬事大吉，可高枕無憂地將報告攥寫的重任完全交由ChatGPT完成，就大錯特錯了。
實際上，在ChatGPT具體內容產生的過程中，可能出現的問題層出不窮。最典型的例子當屬被廣泛詬病的"一本正經地胡說八道"、"編造文獻"等直接造假行為。
這一問題在我們攥寫第五章節"AI風險的治理與監管"這類以嚴格的法律、政策文件為依據的內容時尤為明顯。我們在訓練過程中遇到的錯誤類型五花八門：編寫不存在的政策文件名稱、編寫不實政策頒布機構、編寫錯誤的政策頒布年限、頒布不存在的政府行為等。
例如在美國部分政策內容的訓練過程中，ChatGPT在最初短短的4點回答中就犯下一個明顯錯誤：編造美國政府成立AI政策辦公室的不實政府行為。
我們對生成結果提出改進建議，其中包括詢問"美國政府成立AI政策辦公室"這一不實資訊的成立機構。
令人遺憾的是，ChatGPT非但沒有認知到回答結果的錯誤，反而將錯就錯，根據問題繼續編造生成內容。
再比如，以下答案可謂是AI產生錯誤內容的大合集。短短的4個問題中即包括了3個重大錯誤，最荒謬的錯誤當屬直接對《NISTIR 8272：相互依賴的網絡供應鏈風險的影響分析工具》，一份關於網絡供應鏈風險分析，完全無關AI安全的文件進行移花接木，為編號為NISTIR 8272的文件安上了不存在的名稱《NISTIR 8272：人工智慧風險管理框架》。
而四點回答中唯一正確的回答竟是承認上一問生成內容所產生的錯誤。可見，雖ChatGPT的認錯態度良好，但秉持屢教不改的執行原則，ChatGPT對嚴肅的政府行為、政策制度、文獻等內容的輸出結果準確性非常低，用戶需對生成內容進行仔細的審核與校對。
下圖是另一個極具代表性的錯誤範例，左圖為ChatGPT產生的有關歐盟發布的AI安全監管政策的梳理，很明顯，左圖內容主要圍繞著「AI」而非「AI安全」。
我們對上述問題發出"修改著重"的指令，如右圖。很顯然，ChatGPT修改後的回答並沒有按照設想那樣，對歐盟政府側重於「AI安全」的文件進行重新整理。
相反，ChatGPT照搬了原回答中所涉及的所有文件名稱與政府行為，並直接替換了文件的主旨與目標，包括：將《人工智慧的歐洲戰略》的目標從「加強AI研究......”替換為“加強AI安全研究......”，將歐盟成立ELLIS的目的從“推動AI研究”替換為“推動AI安全研究”等。
這暴露出ChatGPT又一個致命問題：ChatGPT可能會為了使得產生結果看似契合問題需求，而對資訊進行直接竄改。
除以上事實性錯誤，在內容審核與校對的過程中，我們需重點檢視段落與段落之間是否存在交叉重合的情況。以4.1小章節資料投毒為例，資料投毒的基本概念在引言部分與4.1.1部分同時提及。
順著以上例子，我們對ChatGPT的運作規律作出大膽的推測：即ChatGPT生成的回答由分散的小任務拼接而成的，這些任務之間相對獨立，欠缺邏輯聯結性。
若將資料投毒的引言部分視為一個小的生成任務，ChatGPT的輸出結果已符合一個合格引言的基本標準：（闡述資料投毒概念－介紹後文內容）。同樣，若將4.1.1部分視為一個小的生成任務，其輸出結果也不存在明顯的差錯。
當我們明確向ChatGPT指出內容重合的情況時，ChatGPT很快就理解了修改指令並重新完成作答，如下圖。
顯然，ChatGPT具備「辨識重合內容」的能力，其缺乏的是「段落之間不應存在大量重合內容」的認知。由此可見，人腦網格化的關聯分析能力，正是AI最難效法與取代的部分。
有趣的是，當ChatGPT將4.1.1的內容合併入引言部分時，並未對其餘編號進行相應調整，而當我們指出ChatGPT所存在的在問題時，模型有效發現了錯誤並準確地完成了編號修改。
這類編號錯誤並不影響我們對於ChatGPT的實際使用，但可作為一個很好的範例印證我們關於ChatGPT分散式任務拼接機制的假設。
我們也嘗試引導模型對段落的連結性進行增強，得到了以「在XXX後，企業需關注XXX」為格式的回饋結果。顯然，這種機械化增添先後順序的模式，並無法真正反應段落間的實質連結。
到此，我們對ChatGPT所存在的限制與能力上限形成了一個大致的預期。要而言之，ChatGPT可大批量對現象、事實、觀點等進行迅速匯總，也已具備一定的邏輯判斷能力。
然而，由於ChatGPT的邏輯判斷依據主要依托語言統計學，而非認知能力，導致其常常出現邏輯錯誤、結構混亂，甚至因果倒置等情況，更無法真正挖掘資訊之間深層次、本源性的聯繫。
人腦則負責對ChatGPT提供的基礎資訊進行準確性審核、共性歸納、趨勢總結等更高階的分析與概括。
明確了人類與ChatGPT的角色分工，也就不難得出最大化利用ChatGPT優化生成報告、優化報告內容，進而賦能工作的方法：利用人腦構造一條達成目標所必要的信息需求鏈，並儘可能拋開直覺，具象化地對鏈上的資訊需求進行描述。
以報告4.1.1為例，我們在要求報告對資料投毒內容進行具體說明時，透過追問成因、要求ChatGPT舉例說明等具象化描述，框定了資訊需求方向。
總的來說，ChatGPT向我們交出了一份令人滿意的答案卷，儘管訓練過程面臨諸多難點與不確定性，ChatGPT對於指令的理解力與執行力令人驚喜。
FreeBuf諮詢認為，ChatGPT可作為課題分析、學術研究的起點， 提供人類達成目標所需的總結資訊。透過龐大的訓練資料庫，為學術研究者快速確定報告的切入點，極大程度上縮短了報告前期桌面調查、資料整理和篩選的過程，為後續研究工作提供參考思路。
然而，ChatGPT存在的限制與能力上限也十分明顯。由於ChatGPT的輸出內容主要基於上下文詞語的統計分佈，而非嚴謹的事實，ChatGPT生成結果的真實性往往無法保證，甚至常常出現邏輯錯誤、結構混亂，因果倒置等情況。
此外，由於缺乏非線性的關聯分析能力，ChatGPT無法真正挖掘段落間的實質聯繫，這使其與人腦之間存在著一道無法逾越的鴻溝。準確性審核、共通性歸納、趨勢總結等更高階的分析行為，仍需要人類力量來執行。
以上是一文教你如何用ChatGPT快速寫一篇報告的詳細內容。更多資訊請關注PHP中文網其他相關文章！
