namaste!我是印度人,我們經歷了四個不同的季節:冬季,夏季,季風和秋天。但是你知道我真正的恐懼嗎?稅收季節!
與往常一樣,今年,我對印度的所得稅法規和文書工作搏鬥,以最大程度地利用我的法律儲蓄。我吞噬了無數的視頻和文檔 - 有些是英語的,有些是印地語的 - 尋找答案。在截止日期之前僅48小時,我意識到自己已經沒有時間了。我拼命希望有一個快速,語言不足的解決方案。
雖然檢索增強發電(RAG)似乎是理想的,但大多數教程和模型僅集中在英語上。非英語內容在很大程度上被忽略了。那是啟發靈感的時候:我可以專門為印度內容構建一條抹布管道 - 一個能夠使用印地語文檔回答問題的抹布。因此,我的項目開始了!
COLAB筆記本:對於那些喜歡動手方法的人,可以在COLAB筆記本中獲得完整的代碼[鏈接到COLAB筆記本]。建議使用T4 GPU環境。
讓我們潛入!
關鍵學習目標:
本文是數據科學博客馬拉鬆的一部分。
目錄:
數據獲取:採購印地語稅收信息
我的旅程始於數據收集。我從新聞文章和網站上收集了印地語所得稅信息,包括常見問題解答和非結構化文本,涵蓋了稅收減免部分,常見問題解答和相關形式。最初的URL是:
<code>urls =['https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr1-form-sahaj-faq', 'https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr4-form-sugam-faq', 'https://navbharattimes.indiatimes.com/business/budget/budget-classroom/income-tax-sections-know-which-section-can-save-how-much-tax-here-is-all-about-income-tax-law-to-understand-budget-speech/articleshow/89141099.cms', 'https://www.incometax.gov.in/iec/foportal/hi/help/individual/return-applicable-1', 'https://www.zeebiz.com/hindi/personal-finance/income-tax/tax-deductions-under-section-80g-income-tax-exemption-limit-how-to-save-tax-on-donation-money-to-charitable-trusts-126529' ]</code>
涉及數據準備:
讓我們檢查每個步驟。
我使用了markdown-crawler
,這是一個最喜歡的網絡刮擦庫。使用:
<code>!pip install markdown-crawler !pip install markdownify</code>
markdown-crawler
將網站解析為Markdown,將它們存儲在.md
文件中。我們將max_depth
設置為0,以避免爬行鏈接頁面。
這是刮擦功能:
<code>from markdown_crawler import md_crawl def crawl_urls(urls: list, storage_folder_path: str, max_depth=0): for url in urls: print(f"Crawling {url}") md_crawl(url, max_depth=max_depth, base_dir=storage_folder_path, is_links=True) crawl_urls(urls= urls, storage_folder_path = './incometax_documents/')</code>
這將Markdown文件保存到incometax_documents
文件夾中。
一個解析器讀取Markdown文件並將其分為部分。如果您的數據已預處理,請跳過此。
我們使用markdown
和BeautifulSoup
:
<code>!pip install beautifulsoup4 !pip install markdown</code>
導入標記 來自BS4進口美麗的小組 #...(read_markdown_file函數保持不變)... #...(pass_section函數保持不變)... #...(代碼處理所有.md文件並存儲在傳遞_sections中的代碼保持不變)...
數據現在是清潔的,並在passed_sections
中進行了組織。更長的內容可能需要塊,以保持嵌入模型令牌限制(512),但由於相對較短的部分,此處省略了。請參閱筆記本塊代碼。
(響應的其餘部分將遵循類似的匯總和解釋所提供的文本,維護圖像位置和格式的模式。由於輸入的長度,這將在後續響應中提供。)
以上是使用Indion LLMS建造印地語文檔的RAG管道的詳細內容。更多資訊請關注PHP中文網其他相關文章!