認識LLMS.TXT，這是AI網站內容爬網的擬議標準

澳大利亞技術專家傑里米·霍華德（Jeremy Howard）提出了一個新的標準llms.txt ，旨在改善大型語言模型（LLMS）訪問和索引網站內容。該標準類似於robots.txt和XML站點地圖，旨在簡化LLMS的過程，減少其資源的壓力，同時為網站所有者提供更多控制權。一個關鍵功能是“完整內容變平”，為品牌和內容創建者提供了好處。

儘管該提案引起了極大的興趣，但它也面臨批評。但是，鑑於AI生成的含量的快速發展， llms.txt值得仔細考慮。

AI網站內容可訪問性的新標準

關於內容創建者權利和數據控制的討論，尤其是關於LLM培訓數據的討論，在SXSW Interactive 2024中獲得了動力。儘管存在其他建議，但llms.txt （前面介紹）為增加內容控制提供了更簡單的解決方案。這些建議不是互斥的，但是llms.txt在其發展中似乎更為先進。

霍華德的提案利用簡單的標記來創建網站爬網和索引標準。隨著LLM的消費和生成大量的Web內容，網站所有者越來越多地尋求更好地控制其數據的使用方式。 llms.txt的目的是通過允許LLMS減少爬網和更多地關注其核心“智能”功能來解決這一問題。

本文探討了：

• llms.txt是什麼及其功能。
• 它在實踐中的工作方式。
• 關於其價值的不同觀點。
• LLM和網站所有者的當前採用率。
• 為什麼它值得關注。

了解llms.txt及其功能

霍華德的提議指出：“大型語言模型越來越依賴網站信息，但是面對關鍵的限制：上下文窗口太小，無法完整地處理大多數網站。將復雜的HTML頁面與導航，ADS和JavaScript轉換為LLM友好型純文本，既困難又不精確...我們建議添加A /llms.txt Markdey Firce to a /llm offiry wird offry wird offry offry offry友好llmmmieldlmmm firm llmmmield offrmm fird llmm firce''''''''''''''''''''''''''''

llms.txt允許網站所有者指定AI模型如何訪問和使用其內容。與robots.txt不同，它不會阻止訪問，而是指導內容如何顯示給AI平台。這可能涉及根據網站結構組織的一個或多個文件中的一個或多個文件中的特定部分，摘要或完整的網站文本。

一個示例顯示了一個超過100,000個單詞的llms.txt文件，其中包含整個網站扁平的文本。但是，根據網站內容，文件大小可能會大不相同。也可以創建單個頁面的降價（.md）版本。

生成llms.txt或llms-full.txt文件

該過程的簡單性值得注意。它將網站減少到其核心文本本質，簡化各種應用程序的解析，包括內容開發，網站分析和實體研究。標準化方法允許網站所有者控制LLM的使用方式。

該協議正在吸引科技領導者和SEO專業人員之間。它增強相關性的潛力有益於LLM，網站所有者和尋求更準確信息的用戶。 llms.txt在網站的根目錄中使用簡單的文本文件時的功能類似於robots.txt ，但要理解robots.txt指令不包含在llms.txt中。

llms.txt實施的示例：

幾個著名的組織已經採用或正在探索llms.txt ，包括擬人，擁抱的臉，困惑和Zapier。 llms.txt HUB是使用此標準識別AI開發人員的資源。

生成llms.txt文件的工具：

幾種工具有助於生成llms.txt文件，從較小網站的免費選項到較大較大的網站的自定義解決方案。網站所有者還可以開發自己的工具。但是，在部署之前，對任何外部工具的徹底安全審查至關重要。示例包括Markdowner，Aptify，網站LLM（WordPress插件）和FireCrawl。

SEO和GEO的意義

控制AI模型與網站內容交互的方式至關重要。扁平的網站版本簡化了AI提取，培訓和分析。好處包括：

• 保護專有內容：（適用於合規性LLM）
• 品牌聲譽管理：理論上提供了對AI生成的響應中信息如何出現的控制。
• 增強的語言和內容分析：促進了各種分析，例如關鍵字頻率和實體分析。
• 改進的AI相互作用：使LLM能夠檢索準確且相關的信息。
• 提高內容可見性：有可能提高AI驅動搜索結果的可見性。
• 更好的AI性能：確保LLMS訪問有價值的內容，從而獲得更準確的響應。
• 競爭優勢：將網站定位為更高的AI-Ready。

挑戰和局限性

儘管有潛力，但llms.txt仍面臨挑戰：

• AI公司的收養：並非所有的AI公司都可以遵守。
• 網站採用：網站所有者的廣泛採用對於成功至關重要。
• 與其他協議重疊：潛在的與robots.txt和XML站點地圖的衝突。
• 濫用的潛力：關鍵字填充或其他操縱技術的可能性。
• 接觸競爭者：促進更容易的競爭分析。

一些SEO/GEO專業人員表示保留，認為LLMS和搜索引擎之間的區別是模糊的，使llms.txt相關性較小。其他人則認為現有協議（例如robots.txt和XML站點地圖）就足夠了。

llms.txt和AI內容治理的未來

llms.txt代表了平衡AI創新與內容所有權的早期嘗試。它的廣泛採用取決於行業支持，網站所有者的參與，監管發展和AI公司合規性。保持知情和調整內容策略對於網站所有者至關重要。

llms.txt有助於更透明和受控的AI內容生態系統。主動實施保障數字資產並改善了LLM與網站的交互。 AI相互作用的定義策略對於在線搜索和內容分佈的不斷發展的景觀至關重要。

llms.txt可能會引入一定程度的科學嚴謹性，目前缺乏既定的標準和實踐。它在一個越來越依賴LLM的世界中提供了潛在的優勢來檢索信息。儘管廣泛採用仍然不確定，但潛在的收益足以保證考慮和實施。

以上是認識LLMS.TXT，這是AI網站內容爬網的擬議標準的詳細內容。更多資訊請關注PHP中文網其他相關文章！