我寫了一個 Python 腳本,將 PDF 資料擷取業務邏輯轉換為工作程式碼。
該腳本在71 頁 涵蓋 10 個月期間(2024 年 1 月至 10 月)的託管人聲明 PDF 中進行了測試。處理 PDF 大約需要 4 秒 才能完成 - 比手動處理快得多。
據我所知,輸出看起來正確且程式碼沒有遇到任何錯誤。
三個 CSV 輸出的快照如下圖所示。請注意,敏感資料已顯示為灰色。
快照1:持股
快照2:基金持股
快照3:現金持有
此工作流程顯示了我產生 CSV 檔案所採取的主要步驟。
現在,我將更詳細地闡述我如何將業務邏輯轉換為 Python 程式碼。
我使用了 pdfplumber 的 open() 函數。
# Open the PDF file with pdfplumber.open(file_path) as pdf:
file_path 是一個宣告的變量,它告訴 pdfplumber 要開啟哪個檔案。
extract_tables() 函數完成從每個頁面提取所有表格的艱苦工作。
雖然我不太熟悉底層邏輯,但我認為這個功能做得相當不錯。例如,下面的兩個快照顯示了提取的表格與原始表格(來自 PDF)
快照 A:VS Code 終端機的輸出
快照 B:PDF 中的表格
然後我需要為每個表格添加唯一的標籤,以便稍後我可以從特定表中「挑選」資料。
理想的選擇是使用每個表的標題。然而,確定標題座標超出了我的能力。
作為解決方法,我透過連接前三列的標題來標識每個表。例如,快照 B 中的 Stock Holdings 表標記為 Stocks/ETFsnNameExchangeQuantity。
⚠️這種方法有一個嚴重的缺點 - 前三個標頭名稱不能使所有表都足夠唯一。幸運的是,這只會影響不相關的表。
我需要的具體值 - 帳號和對帳單日期 - 是每個 PDF 第 1 頁中的子字串。
例如「帳號M1234567」包含帳號「M1234567」。
我使用了 Python 的 re 函式庫並讓 ChatGPT 推薦了合適的正規表示式(「regex」)。正規表示式將每個字串分為兩組,所需資料位於第二組中。
帳單日期和帳號字串的正規表示式
# Open the PDF file with pdfplumber.open(file_path) as pdf:
接下來我將報表日期轉換為「yyyymmdd」格式。這使得查詢和排序資料變得更加容易。
regex_date=r'Statement for \b([A-Za-z]{3}-\d{4})\b' regex_acc_no=r'Account Number ([A-Za-z]\d{7})'
match_date 是在找到與正規表示式相符的字串時宣告的變數。
硬碼 - 擷取相關資料點 - 此時已基本完成。
接下來,我使用 pandas 的 DataFrame() 函數根據 第 2 步 和 第 3 步 中的輸出建立表格資料。我還使用此功能刪除不必要的列和行。
最終結果可以輕鬆寫入 CSV 或儲存在資料庫中。
我使用 Python 的 write_to_csv() 函數將每個資料幀寫入 CSV 檔案。
if match_date: # Convert string to a mmm-yyyy date date_obj=datetime.strptime(match_date.group(1),"%b-%Y") # Get last day of the month last_day=calendar.monthrange(date_obj.year,date_obj.month[1] # Replace day with last day of month last_day_of_month=date_obj.replace(day=last_day) statement_date=last_day_of_month.strftime("%Y%m%d")
df_cash_selected 是 Cash Holdings 資料框,而 file_cash_holdings 是 Cash Holdings CSV 的檔案名稱。
➡️一旦掌握了一些資料庫知識,我就會將資料寫入合適的資料庫。
工作腳本現已到位,可從託管人聲明 PDF 中提取表格和文字資料。
在繼續之前,我將執行一些測試來查看腳本是否按預期工作。
--結束
以上是#|自動提取 PDF 資料:構建的詳細內容。更多資訊請關注PHP中文網其他相關文章!