首頁 > 科技週邊 > IT業界 > Reddit 被曝屏蔽多個搜尋引擎和 AI 爬蟲,官方表示與Google合作無關

Reddit 被曝屏蔽多個搜尋引擎和 AI 爬蟲,官方表示與Google合作無關

WBOY
發布: 2024-07-25 16:43:13
原創
429 人瀏覽過

本站 7 月 25 日消息,今年 2 月,谷歌宣布與 Reddit 達成一項新協議,Reddit 數據將用於訓練谷歌的 AI 模型,並在谷歌搜尋結果中著重顯示 Reddit 結果。彭博社報道稱,這筆交易的金額約為 6,000 萬美元。從那時起,Reddit 在Google搜尋中的展示次數也大幅增加。而最新消息稱,Reddit 已禁止其他搜尋引擎檢索其網站內容。外媒 404 Media 首先報導了此行為,並指出 Reddit 已更新其 robots.txt 檔案(本站註:網站與爬蟲的協議文件),阻止所有機器人抓取網站的任何內容。本站查詢Reddit 網站的robots.txt 檔案獲悉,該平台稱“Reddit 相信開放的互聯網,但不相信濫用公共內容。”其“Disallow”選項設置為“/”,也就是禁止檢索網站根目錄下的所有文件。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

該文件在今年 6 月首次更新,Reddit 解釋說,這一更改是由於「抓取 Reddit 內容的商業實體明顯增多並且內容被濫用」。

外媒9To5Google 則稱,Bing、DuckDuckGo、Mojeek 和Qwant 等搜尋引擎都受到了影響,使用“site:reddit.com”搜尋內容時,要么不顯示最新內容,要么不顯示完整的網站結果。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

不過本站最新測試,Bing、DuckDuckGo 已重新顯示「site:reddit.com」搜尋內容。

Reddit 被曝屏蔽多个搜索引擎和 AI 爬虫,官方称与谷歌合作无关

Reddit 發言人Tim Rathschmidt 在給The Verge 的聲明中表示:

這與我們最近與谷歌的合作完全無關

我們一直在與多個搜尋引擎進行討論,但無法完全無關

。🎜🎜我們一直在與多個搜尋引擎進行討論,但無法完全無關🎜。🎜🎜我們一直在與多個搜尋引擎進行討論,但無法與所有人達成協議,因為有些人無法或不願意就他們使用Reddit 內容(包括他們對AI 訓練的使用)作出可執行的承諾。

以上是Reddit 被曝屏蔽多個搜尋引擎和 AI 爬蟲,官方表示與Google合作無關的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:ithome.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板