ChatGPT引起巨大的業界震撼，各行各業都在討論大語言模型、通用人工智慧。 AI經歷了五十多年的發展，現在正處於產業結構水平化發展的關鍵時期。這項變化源自於NLP領域範式的轉變，從「預訓練 微調」向「預訓練、提示、預測」模式演進。在這個新模式下，下游任務適應預訓練模型，使得一個大型模型能適用於多個任務。這項變革為AI產業的水平化分工奠定了基礎，大型語言模型成為基礎設施，Prompt Engineering公司層出不窮，專注於連結使用者和模型。 AI產業的分工初步形成，包括底層基礎設施（雲端服務商）、大型模式、Prompt Engineering平台和終端應用。隨著AI產業變革，開發者可以充分利用大型語言模式（LLM）和Prompt Engineering來開發創新應用。
目前要開發一個基於LLM的應用，我們面臨最大的工程上的問題是什麼？
以Langchain為例簡單來說：LangChain是LLM 底層能力的封裝，是一種Prompt Engineering或是說是Prompt-Ops。
這是一個用ChatGPT和LangChain開發的Demo對比的例子，輸入的都是「誰是周傑倫的老婆？她目前的年齡乘以0.23是多少?」。可以看出ChatGPT或GPT-3.5因為沒有搜尋能力，回答的結果是錯誤的。右邊用LangChain結合OpenAI的GPT-3.5的API則輸出了正確的結果，他會逐步去搜索獲得正確信息，得出正確結果，而且中間的過程是框架自動處理的，我除了輸入問題沒有其他操作。
2.2.2 將自然語言轉換為Python程式碼並自行糾錯
#Fuzzy API composition: querying NBA stats with GPT-3 Statmuse Langchain
使用Langchain與體育數據搜尋網站相結合，提問複雜的數據問題並得到準確的回應。例如：「波士頓塞爾提克隊在這個2022-2023 賽季的NBA 賽季場均防守得分是多少？與他們上賽季的平均水平相比，百分比變化如何？」
def pythonTool():
bash = BashProcess()
python_repl_util = Tool(
"Python REPL",
PythonREPL().run,
"""A Python shell. Use this to execute python commands.
Input should be a valid python command.
If you expect output it should be printed out.""",
)
command_tool = Tool(
name="bash",
descriptinotallow="""A Bash shell. Use this to execute Bash commands. Input should be a valid Bash command.
If you expect output it should be printed out.""",
func=bash.run,
)
# math_tool = _get_llm_math(llm)
# search_tool = _get_serpapi()
tools = [python_repl_util, command_tool]
agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True)
agent.run("给我播放一首音乐")连接私有数据对第三方企业做LLM应用来说非常重要。下面举几个例子
法律公文和政策条款一般都非常复杂繁琐，这个demo中将旧金山政府的信息用Langchain与GPT结合，做到询问其中细节能获得准确回复的效果。
> Entering new AgentExecutor chain... I need to find out the size limit for a storage shed without a permit and then search for sheds that are smaller than that size. Action: SF Building Codes QA System Action Input: "What is the size limit for a storage shed without a permit in San Francisco?" Observation: The size limit for a storage shed without a permit in San Francisco is 100 square feet (9.29 m2). Thought:Now that I know the size limit, I can search for sheds that are smaller than 100 square feet. Action: Google Action Input: "Storage sheds smaller than 100 square feet" Observation: Results 1 - 24 of 279 ... Thought:I need to filter the Google search results to only show sheds that are smaller than 100 square feet and suitable for backyard storage. Action: Google Action Input: "Backyard storage sheds smaller than 100 square feet" Thought:I have found several options for backyard storage sheds that are smaller than 100 square feet and do not require a permit. Final Answer: The size limit for a storage shed without a permit in San Francisco is 100 square feet. There are many options for backyard storage sheds that are smaller than 100 square feet and do not require a permit, including small sheds under 36 square feet and medium sheds between 37 and 100 square feet.
LLM应用与私有数据交互非常重要，我看到无数人在问一些ChatGPT无法回答的问题了：问认不认识谁、问自己公司业务细节、问各种可能不包含在预训练数据集里的东西。这些都已用Langchain和LlaMaIndex来解决。试想一下，将私有数据与LLM相结合，将改变数据原有的访问方式，通过问答能很自然地获取到自己需要的信息，这是比当前的搜索/打标分类都要高效的数据交互方式。
向量数据库现在看起来是构建LLM App中很关键的一个组件。首先 LLM 的预训练和微调过程不可能包含我们所期待的私有数据，因此如何将LLM关联到私有数据成为一个很关键的需求。而且LLM的“接口”-自然语言通常不是像Key-Value的映射那样精确地。而且在这一阶段我们希望LLM去理解我们的知识库，而不是简单的在其中搜索相同的字符串，我们希望询问关于我们知识库的细节，并给出一定理解后的答案（以及来源），这样匹配向量这样的搜索方式是一个非常合适且关键的解决方案。还有一个关键点是，LLM在每次调用是按token计费（即文本量），并且目前的接口的上下文有着4096 tokens的限制。，因此面对庞大的数据，我们也不可能将所有的数据一次性传给LLM。因此才有了第一张图那个流程图的结构。本地预先将我们私有的数据转成向量存在Qdrant里，用户问答时，将用户的问题转为向量，然后去Qdrant里进行搜索（相似性匹配）得到Top K个结果，然后将这些结果（注意这里的结果已经是自然语言了）传给LLM进行总结输出。
这里使用Langchain社区博客的流程图为例
私有数据分割成小于LLM上下文的分块，创建向量后存入向量数据库
将问题计算向量后在向量数据库进行相似性搜索，算出相关性较高的top k个结果后拼接prompt送往LLM获得答案。
再來聊聊最近那個OpenAI私有部署的新聞，如果用Langchain來做鏈接，面對龐大的私有數據，用一個embedding模型（OpenAI的ada）計算輸入問題向量，用Qdrant等向量資料庫來管理私有資料的向量和向量搜索，用Langchain來做中間的連結雖然可以解決問題，但是token的消耗卻是不容忽視的成本問題。私有部署 微調可能能解決大部分前面提到的問題。可能是有錢大公司用Model instance和fine-tuning，小公司獨立開發者用Langchain等框架。更未來OpenAI的LLM服務能力外溢，可能不需要Prompt了，甚至把Langchain的功能都能包含了，LLM應用的開發接入也許只需要一個介面呼叫。
2.4 2023年的LLM應用技術堆疊
2023 用來簡單搭建AI Demo 的最新技術堆疊：
#一些關於Langchain 這類Prompt-Ops這類工具的反對觀點：stream.thesephist.com主要問題是在這類工具/框架，將自然語言作為代碼和LLM的連接，使用非確定性語言本身作為控制流，有點瘋狂。而且本身評估模型輸出效果現在是個很麻煩的事，沒有很好的解決方案，很多都是維護一個龐大的電子表格，靠人去評估。 （也有用LLM評估LLM的方案，還比較早期）所以要投入生產，真實面對用戶而不是作為twitter演示可能還有很多工作要做。
詳細說說測試環節面臨的巨大挑戰。假如你的產品有一套研發階段效果很好的prompt，交給測試後，可能測試上百條上千條就能看出問題了。由於效果無法保證，真正推出給c端用戶會面臨很大的挑戰。而且沒有用微調服務或model instance的話，如果OpenAI更新了模型，你的生產環境的prompt可能需要全部重新測試效果。你的prompt也需要和程式碼一樣按版本管理，不管有沒有prompt變更，每個版本上線前都需要進行回歸測試。沒有好的自動化評估方案的話，大量的case都需要測試人工來看會耗費非常多的人力。
結合私有資料的LLM應用目前開發起來在工程上已經有很多不錯的方案了，很容易跑出效果不錯的demo，但還是需要非常謹慎對待這樣一種應用。畢竟我們不只是要做一個在社群媒體或Leader面前示範的專案。提供給使用者輸入的是一個對話框，自然語言寬泛到即使你測試上萬個結果也可能出現意想不到的結果，畢竟像new bing和chatGPT這樣的產品也會被Prompt Injection。面對這種不確定性，工程上如何去避免，測試如何去覆蓋都是一個成熟產品待解決或者說還有很多工作可以做的問題。
但我覺得也不必完全否定這類Prompt-Ops工具/框架，畢竟現階段確實能做出很多不錯的demo來驗證想法。
聊聊ChatGPT API開放後LLM應用可能的形態。
LLM應用程式實際上是一種新的人機互動方式，能夠讓使用者用自然語言與我們目前的系統溝通，許多應用程式甚至可以簡化到只有一個聊天視窗。
目前來說由於一般大模型訓練/部署的高成本來說，產業水平化分工的條件基本上已經成熟，世界上並不需要很多大模型，做LLM的應用將是中小型企業和個人開發者的必然選擇。新形態的程式設計/工程範式需要工程師去及時學習理解。目前的開源技術堆疊已經能滿足大部分產品的需求，可以嘗試快速實踐demo來驗證想法。
參考資料：
Tutorial: ChatGPT Over Your Data
Question Answering with LangChain and Qdrant without boilerplate
Atom Capital：深入探討ChatGPT帶來的產業變革
#以上是ChatGPT分享-如何開發一個LLM應用的詳細內容。更多資訊請關注PHP中文網其他相關文章！
