我是 opencv 新手,也是 python 新手。我嘗試將在網路上找到的程式碼拼接在一起來解決我的研究問題。我有一本 1870 年的阿拉伯語日記,有數百頁,每頁都包含兩欄,並有粗黑邊框。我想將兩列提取為圖像文件,以便分別對它們運行 ocr,同時忽略頁眉和頁腳。下面是一個頁面範例:
第 3 頁
我有十頁原始列印作為單獨的 png 檔案。我編寫了以下腳本來處理每一個。它在 10 頁中的 2 頁中按預期工作,但無法在其他 8 頁中產生列。我對所有函數的理解不夠深入,無法知道我可以在哪裡使用這些值,或者我的整個方法是否被誤導了 -我認為最好的學習方法是詢問社區您將如何解決這個問題。
import cv2 def cutpage(fname, pnum): image = cv2.imread(fname) gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) blur = cv2.GaussianBlur(gray, (7,7), 0) thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1] kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 13)) dilate = cv2.dilate(thresh, kernel, iterations=1) dilatename = "temp/dilate" + str(pnum) + ".png" cv2.imwrite(dilatename, dilate) cnts = cv2.findContours(dilate, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE) cnts = cnts[0] if len(cnts) == 2 else cnts[1] cnts = sorted(cnts, key=lambda x: cv2.boundingRect(x)[0]) fullpage=1 column=1 for c in cnts: x, y, w, h = cv2.boundingRect(c) if h > 300 and w > 20: if (h/w)<2.5: print("Found full page: ", x, y, w, h) filename = "temp/p" + str(pnum) + "-full" + str(fullpage) + ".png" fullpage+=1 else: print("Found column: ", x, y, w, h) filename = "temp/p" + str(pnum) + "-col" + str(column) + ".png" column+=1 roi = image[y:y+h, x:x+w] cv2.imwrite(filename, roi) return (column-1) for nr in range(10): filename = "p"+str(nr)+".png" print("Checking page", nr) diditwork = cutpage(filename, nr) print("Found", diditwork, "columns")
按照教程,我創建了一個模糊和擴張的二元反轉,以便它可以透過大的白色區域來識別不同的矩形區域。我還保存了每個擴展版本的副本,以便我可以看到它的樣子,這是處理後的上面的頁面:
第 3 頁已放大
“for c in cnts”循環應該會找到圖像中的大矩形區域。如果高寬比小於2.5,我會得到一個完整的頁面(沒有頁眉和頁腳,這效果很好),如果高寬比大於這個,我知道它是一個列,並且它保存了這個例如temp/ p2-col2.png
我得到了一些漂亮的完整頁面,沒有頁眉和頁腳,也就是說,只有較大的黑色邊框,但沒有被切成列。在 10 頁中的 2 頁中,我得到了我想要的內容,即:
第 2 頁的成功欄位
由於我有時會得到所需的結果,因此一定有某些東西正在起作用,但我不知道如何進一步改進它。
編輯:
以下是更多頁面範例:
p0
p1
p5
我嘗試了一些沒有任何擴張的東西,因為我想看看是否可以只使用中間線作為“分隔符號” 。這是程式碼:
im = cv2.cvtcolor(cv2.imread("arabic.png"), cv2.color_bgr2rgb) # read im as rgb for better plots gray = cv2.cvtcolor(im, cv2.color_rgb2gray) # convert to gray _, threshold = cv2.threshold(gray, 250, 255, cv2.thresh_binary_inv) # inverse thresholding contours, _ = cv2.findcontours(threshold, cv2.retr_external, cv2.chain_approx_none) # find contours sortedcontours = sorted(contours, key = cv2.contourarea, reverse=true) # sort according to area, descending bigbox = sortedcontours[0] # get the contour of the big box middleline = sortedcontours[1] # get the contour of the vertical line xmiddleline, _, _, _ = cv2.boundingrect(middleline) # get x coordinate of middleline leftboxcontour = np.array([point for point in bigbox if point[0, 0] < xmiddleline]) # assign left of line as points from the big contour rightboxcontour = np.array([point for point in bigbox if point[0, 0] >= xmiddleline]) # assigh right of line as points from the big contour leftboxx, leftboxy, leftboxw, leftboxh = cv2.boundingrect(leftboxcontour) # get properties of box on left rightboxx, rightboxy, rightboxw, rightboxh = cv2.boundingrect(rightboxcontour) # get properties of box on right leftboxcrop = im[leftboxy:leftboxy + leftboxh, leftboxx:leftboxx + leftboxw] # crop left rightboxcrop = im[rightboxy:rightboxy + rightboxh, rightboxx:rightboxx + rightboxw] # crop right # maybe do you assertations about aspect ratio?? cv2.imwrite("right.png", rightboxcrop) # save image cv2.imwrite("left.png", leftboxcrop) # save image
我沒有使用任何有關寬高比的斷言,所以也許這仍然是您需要做的事情..
基本上,這種方法中最重要的線條是基於 x 座標產生左輪廓和右輪廓。這是我得到的最終結果:
邊緣仍然有一些黑色部分,但對於 ocr 來說這應該不是問題。
僅供參考:我在 jupyter 中使用以下軟體包:
import cv2 import numpy as np %matplotlib notebook import matplotlib.pyplot as plt
v2.0:僅使用大框偵測來實現:
所以我做了一些擴張,這個大盒子很容易被偵測到。我使用水平內核來確保大盒子的垂直線始終足夠粗以被檢測到。然而,我無法解決中間線的問題,因為它非常細......儘管如此,這裡是上述方法的程式碼:
im = cv2.cvtcolor(cv2.imread("1.png"), cv2.color_bgr2rgb) # read im as rgb for better plots gray = cv2.cvtcolor(im, cv2.color_rgb2gray) # convert to gray gray[gray<255] = 0 # added some contrast to make it either completly black or white _, threshold = cv2.threshold(gray, 250, 255, cv2.thresh_binary_inv) # inverse thresholding thresholddilated = cv2.dilate(threshold, np.ones((1,10)), iterations = 1) # dilate horizontally contours, _ = cv2.findcontours(thresholddilated, cv2.retr_external, cv2.chain_approx_none) # find contours sortedcontours = sorted(contours, key = cv2.contourarea, reverse=true) # sort according to area, descending x, y, w, h = cv2.boundingrect(sortedcontours[0]) # get the bounding rect properties of the contour left = im[y:y+h, x:x+int(w/2)+10].copy() # generate left, i included 10 pix from the right just in case right = im[y:y+h, int(w/2)-10:w].copy() # and right, i included 10 pix from the left just in case fig, ax = plt.subplots(nrows = 2, ncols = 3) # plotting... ax[0,0].axis("off") ax[0,1].imshow(im) ax[0,1].axis("off") ax[0,2].axis("off") ax[1,0].imshow(left) ax[1,0].axis("off") ax[1,1].axis("off") ax[1,2].imshow(right) ax[1,2].axis("off")
這些是結果,您可以注意到它並不完美,但同樣,由於您的目標是 ocr,這應該不是問題。
請告訴我這是否可以,如果不行,我會絞盡腦汁尋找更好的解決方案...
v3.0:一種獲得更直影像的更好方法,這將提高 ocr 的品質。
受到我在這裡的另一個答案的啟發:answer。拉直圖像是有意義的,這樣 ocr 就有更好的結果。因此,我在檢測到的外框上使用了四點變換。這將使圖像稍微變直,並使文字更加水平。這是程式碼:
im = cv2.cvtcolor(cv2.imread("2.png"), cv2.color_bgr2rgb) # read im as rgb for better plots gray = cv2.cvtcolor(im, cv2.color_rgb2gray) # convert to gray gray[gray<255] = 0 # added some contrast to make it either completly black or white _, threshold = cv2.threshold(gray, 250, 255, cv2.thresh_binary_inv) # inverse thresholding thresholddilated = cv2.dilate(threshold, np.ones((1,10)), iterations = 1) # dilate horizontally contours, _ = cv2.findcontours(thresholddilated, cv2.retr_external, cv2.chain_approx_none) # find contours largest_contour = max(contours, key = cv2.contourarea) # get largest contour hull = cv2.convexhull(largest_contour) # get the hull epsilon = 0.02 * cv2.arclength(largest_contour, true) # epsilon pts1 = np.float32(cv2.approxpolydp(hull, epsilon, true).reshape(-1, 2)) # get the points result = four_point_transform(im, pts1) # using imutils height, width = result.shape[:2] # get the dimensions of the transformed image left = result[:, 0:int(width/2)].copy() # from the beginning to half the width right = result[:, int(width/2): width].copy() # from half the width till the end fig, ax = plt.subplots(nrows = 2, ncols = 3) # plotting... ax[0,0].axis("off") ax[0,1].imshow(result) ax[0,1].axvline(width/2) ax[0,1].axis("off") ax[0,2].axis("off") ax[1,0].imshow(left) ax[1,0].axis("off") ax[1,1].axis("off") ax[1,2].imshow(right) ax[1,2].axis("off")
具有以下軟體包:
import cv2 import numpy as np %matplotlib notebook import matplotlib.pyplot as plt from imutils.perspective import four_point_transform
正如您從程式碼中看到的,這是一種更好的方法,由於四點變換,您可以強制圖像居中且水平。此外,不需要包含一些重疊,因為影像分離得很好。這是一個供您參考的範例:
以上是OpenCV:尋找阿拉伯期刊中的專欄(Python)的詳細內容。更多資訊請關注PHP中文網其他相關文章!