CV 데이터 추출

소개

대기업의 면접이나 고용에 참석할 때 모든 이력서를 자세히 검토하는 것은 많은 양의 지원자로 인해 비현실적입니다. 대신, CV 데이터 추출을 활용하여 주요 작업 요구 사항이 후보자의 CV와 얼마나 잘 일치하는지에 중점을두면 고용주와 후보자 모두에게 성공적으로 일치 할 수 있습니다.

프로필 레이블을 확인했다고 상상해보십시오. 걱정할 필요가 없습니다! 이제 직책에 대한 적합성을 평가하고 직무 요구 사항에 대한 자격의 격차를 식별하는 것은 쉽습니다.

예를 들어, 구인 게시가 특정 소프트웨어의 프로젝트 관리 및 숙련도 경험을 강조하는 경우, 응시자는 이러한 기술이 CV에서 명확하게 볼 수 있도록해야합니다. 이 대상 접근 방식은 고용 관리자가 자격을 갖춘 지원자를 신속하게 식별하고 후보자가 번성 할 수있는 직책에 대해 고려되도록합니다.

가장 관련성이 높은 자격을 강조함으로써 채용 프로세스가 더욱 효율적이되고 양 당사자는 적합한 혜택을 누릴 수 있습니다. 회사는 올바른 인재를 더 빨리 발견하고 후보자는 자신의 기술과 경험에 맞는 역할을 할 가능성이 높습니다.

학습 결과

• 자동화 및 분석을 위해 CVS의 데이터 추출의 중요성을 이해하십시오.
• 다양한 파일 형식에서 텍스트 추출을 위해 Python 라이브러리를 사용하는 데 능숙합니다.
• 텍스트 추출 정확도를 높이기 위해 이미지를 전제로 처리하는 방법을 알아보십시오.
• 추출 된 텍스트에서 케이스 감도를 처리하고 토큰을 정규화하기위한 기술을 탐색하십시오.
• 효과적인 CV 데이터 추출에 필수적인 주요 도구 및 라이브러리를 식별하십시오.
• 이미지와 PDF 파일 모두에서 텍스트를 추출하는 실용적인 기술을 개발하십시오.
• CV 데이터 추출 및 효과적인 솔루션과 관련된 문제를 인식하십시오.

이 기사는 Data Science Blogathon 의 일부로 출판되었습니다 .

목차

이력서 데이터 추출을위한 필수 도구

• 파이썬
• 도서관 : NLTK 및 SPACY
• pytesseract
• 베개 도서관
• 이미지 또는 PDF 파일
• pdfplumber 또는 pypdf2

PDF 파일 또는 이미지에서 단어를 얻습니다

• PytesserAct OCR 머신을 설치하십시오.
• 라이브러리 베개를 설치하십시오
• 토큰 화를위한 installnltk (또는 스파이)
• TesserAct를 다운로드하고 경로를 구성하십시오

이미지 및 PDF 텍스트 추출 기술

• 향상된 OCR 성능을위한 전처리 이미지
• PDF 파일에서 텍스트를 가져옵니다
• pdfplumber에서 텍스트 추출
• 일관성을위한 토큰 정규화
• 자주 묻는 질문

이력서 데이터 추출을위한 필수 도구

이력서 및 CV에서 데이터를 효과적으로 추출하려면 프로세스를 간소화하고 정확성을 보장하는 데 올바른 도구를 활용하는 것이 필수적입니다. 이 섹션에서는 CV 데이터 추출의 효율성을 향상시키는 주요 라이브러리 및 기술을 강조하여 후보 프로파일의 더 나은 분석 및 통찰력을 제공합니다.

파이썬

문장이나 단락을 단어로 나눌 수있는 라이브러리 또는 방법이 있습니다. Python에서는 Split () (기본 토큰 화) 또는 자연 언어 툴킷 (NLTK) 및 스파이 라이브러리와 같은 다양한 라이브러리 및 메소드를 사용하여 단어 토큰 화를 달성 할 수 있습니다.

간단한 토큰 화 (문장 분할)는 구두점 및 기타 특수 문자를 인식하지 못합니다.

 문장 = "오늘은 아름다운 날입니다!."
sentences.split ()
[ '오늘', 'is', 'a', 'beautiful', 'day!']]

도서관 : NLTK 및 SPACY

Python은 토큰 화를위한보다 강력한 도구를 가지고 있습니다 (NLTK (Natural Language Toolkit).

NLTK (Natural Language Toolkit)에서 Punkt 토큰 화기는 감독되지 않은 문장 분할 및 단어 토큰 화를 위해 미리 훈련 된 모델을 사용하여 텍스트를 활성으로 활성화합니다.

 NLTK 가져 오기
nltk.download ( 'punkt')
nltk에서 word_tokenize에서

문장 = "오늘은 아름다운 날입니다!."
sentences.split ()
인쇄 (문장)
Word = Word_tokenize (문장)
인쇄 (단어)

[NLTK_DATA] 패키지 펑크 다운로드
[nltk_data] c : \ user \ ss529 \ appdata \ roaming \ nltk_data ...
오늘은 아름다운 날입니다!.
[ '오늘', 'is', 'a', 'beautiful', 'day', '!', '.']]
[NLTK_DATA] 패키지 Punkt는 이미 최신입니다!

Punkt의 주요 기능 :

• 언어의 문법 또는 구문에 대한 사전 정보가 필요없이 주어진 텍스트를 문장과 단어로 토큰화할 수 있습니다.
• 기계 학습 모델을 사용하여 문장 경계를 감지하는데, 이는 문장 부호가 문장을 엄격하게 별도로 분리하지 않는 언어에 유용합니다.

Spacy는 정확한 토큰 화 및 기타 언어 처리 기능을 제공하는 고급 NLP 라이브러리입니다.

정규 표현식 : 패턴을 기반으로하는 맞춤형 토큰 화되었지만 수동 세트가 필요합니다.

 가져 오기 re
일반 = "[a-za-z] [\ w]?"
Re.Findall (일반, 문장)
[ '오늘', 'is', 'a', 'beautiful', 'day!']]

pytesseract

이미지에서 텍스트를 읽는 데 사용되는 파이썬 기반 광학 문자 인식 작업입니다.

베개 도서관

이미지 조작에 유용한 다양한 이미지 형식을 처리하기위한 오픈 소스 라이브러리.

이미지 또는 PDF 파일

이력서는 PDF 또는 이미지 형식 일 수 있습니다.

pdfplumber 또는 pypdf2

PDF에서 텍스트를 추출하고 단어로 토큰 화하려면 Python에서 다음 단계를 따라갈 수 있습니다.

• pypdf2 또는 pdfplumber와 같은 라이브러리를 사용하여 PDF에서 텍스트를 추출하십시오.
• Split (), NLTK 또는 Spacy와 같은 토큰 화 방법을 사용하여 추출 된 텍스트를 토큰 화하십시오.

PDF 파일 또는 이미지에서 단어를 얻습니다

PDF 파일의 경우 PDF 배관공과 이미지 OCR이 필요합니다.

PDF 대신 이미지에서 텍스트를 추출한 다음 다른 필드에 대한 사전 정의 된 단어를 기반으로 토큰 화 및 점수를 받으려면 다음 단계를 수행하여이를 달성 할 수 있습니다.

PytesserAct OCR 머신을 설치하십시오.

이미지에서 헬프토 추출 텍스트를 추출합니다

 PIP PytesserAct 베개 NLTK를 설치합니다

라이브러리 베개를 설치하십시오

다양한 이미지를 처리하는 데 도움이됩니다.

파이썬의 이미지 처리 및 조작과 관련하여, 다른 형식의 크기 조정, 자르기 또는 변환과 같은 오픈 소스 라이브러리는 베개입니다.

베개가 어떻게 작동하는지 살펴보고 Jupyter Notebook의 이미지를 보려면 디스플레이를 사용해야하며 내부 브래킷은 이미지를 고정하는 변수를 저장해야합니다.

 PIL 가져 오기 이미지에서
image = image.open ( 'art.jfif')
디스플레이 (이미지)

이미지 크기를 조정하고 저장하기 위해 크기 조정 및 저장된 방법이 사용되며 너비는 400으로 설정되고 높이는 450으로 설정됩니다.

베개의 주요 특징 :

• 이미지 형식- 다른 형식을 지원합니다
• 이미지 조작 함수 - 크기 조정, 자르기 이미지, 색상 이미지 변환 등을 회색으로 변환 할 수 있습니다.

토큰 화를위한 installnltk (또는 스파이)

NLTK 또는 Spacy를 설치하여 자연어 처리에서 토큰 화를위한 두 가지 강력한 라이브러리를 설치하여 텍스트 처리 기능을 향상시키는 방법을 알아보십시오.

TesserAct를 다운로드하고 경로를 구성하십시오

최적화 된 OCR 기능에 필요한 경로를 추가하여 GitHub에서 TesserAct를 다운로드하고 스크립트에 원활하게 통합하는 방법을 알아보십시오.

 pytesseract.pytesseract.tesseract_cmd = 'c : \ program files \ tesseract-ocr \ tesseract.exe' '

• MACOS : Brew 설치 TesserAct
• Linux : 패키지 관리자를 통해 설치하십시오 (예 : Sudo apt install tesseract-ocr).
• PIP PytesserAct 베개를 설치하십시오

그중에는 여러 언어와 OCR을 지원 한 Google 개발, 오픈 소스 라이브러리 Tesseract입니다.

PytesserAct는 Python 기반 프로젝트에 사용되며 TesserAct OCR 엔진의 래퍼 역할을합니다.

이미지 및 PDF 텍스트 추출 기술

디지털 시대에는 이미지 및 PDF 파일에서 텍스트를 추출하는 것이 데이터 분석 및 문서 처리를 포함한 다양한 응용 프로그램에 필수적이되었습니다. 이 기사는 이미지 전처리 및 강력한 라이브러리를 활용하여 광학 문자 인식 (OCR)을 향상시키고 다양한 파일 형식에서 텍스트 추출을 간소화하기위한 효과적인 기술을 탐구합니다.

향상된 OCR 성능을위한 전처리 이미지

전처리 이미지는 아래 언급 된 단계를 따라 OCR 성능을 향상시킬 수 있습니다.

• 그레이 스케일의 이미지 : 이미지는 그레이 스케일로 변환되어 시끄러운 배경을 줄이고 텍스트 자체에 중점을두고 조명 조건이 다양한 이미지에 유용합니다.
• Pil ImageOps에서
• image = imageops.grayscale (이미지)
• 임계 값 : 이진 임계 값을 적용하여 이미지를 흑백 형식으로 변환하여 텍스트를 돋보이게합니다.
• 크기 조정 : 더 나은 텍스트 인식을위한 고급 작은 이미지.
• 노이즈 제거 : 필터 (예 : 가우스 블러)를 사용하여 이미지에서 소음 또는 아티팩트를 제거하십시오.

 NLTK 가져 오기
pytesseract 가져 오기
PIL 가져 오기 이미지에서
CV2 가져 오기

nltk.tokenize import Word_tokenize

nltk.download ( 'punkt')
pytesseract.pytesseract.tesseract_cmd = r'c : \ user \ ss529 \ anaconda3 \ tesseract-ocr \ tesseract.exe '
image = input ( "파일 이름 :")
imag = cv2.imread (이미지)
 
#그레이 스케일 이미지로 연결됩니다
그레이 = cv2.cvtcolor (이미지, cv2.color_bgr2gray)
 
nltk.tokenize import Word_tokenize
def text_from_image (이미지) :
    img = image.open (imag)
    text = pytesseract.image_to_string (img)
    리턴 텍스트
image = 'cv1.png'


text1 = text_from_image (이미지)

# 추출 된 텍스트를 토큰 화합니다
Tokens = Word_tokenize (text1)

인쇄 (토큰)

요구 사항과 일치하는 단어의 수를 알기 위해 우리는 비교하고 모든 일치하는 단어를 10으로 비교하고 포인트를 제공합니다.

 # 토큰 비교 특정 단어와 비교하고, 중복을 무시하고, 점수를 계산합니다.
def compare_tokens_and_score (토큰, 특정_words, score_per_match = 10) :
    match_words = set (word.lower () inciple_words의 Word에 대한 Word.Lower ())
    Total_score = len (fields_keywords) * score_per_match
    Total_Score를 반환합니다

# 다른 기술을 가진 분야
fields_keywords = {

    "data_science_carrier": { '감독 기계 학습', '감독되지 않은 기계 학습', '데이터', '분석', '통계', 'Python'},
        
}

# 해당 필드의 특정 단어를 기반으로 한 점수
def process_image_for_field (이미지, 필드) :
    필드가없는 경우 필드 keywords :
        print (f "field '{field}'가 정의되지 않았습니다.")
        반품

    # 이미지에서 텍스트를 추출합니다
    text = text_from_image (이미지)
    
    # 추출 된 텍스트를 토큰 화합니다
    Tokens = Tokenize_text (텍스트)
    
    # 선택한 필드에 대한 특정 단어와 토큰 비교
    특정_words = fields_keywords [필드]
    Total_score = compare_tokens_and_score (토큰, 특정_words)
    print (f "field : {field}")
    Print ( "Total Score :", Total_Score)


image = 'cv1.png' 
필드 = 'data_science_carrier'

사례 민감도, 예를 들어“데이터 과학”대“데이터 과학”을 처리하려면 모든 토큰과 키워드를 소문자로 변환 할 수 있습니다.

 Tokens = Word_tokenize (extracted_text.lower ())

NLTK와 같은 NLP 라이브러리 또는 스파이 스피밍을 사용하여 단어를 줄이기 위해 레마 화를 사용하여 (예 : "실행"으로 "실행")

 nltk.stem import WordNetleMmatizer에서

lemmatizer = wordnetlemmatizer ()

def normalize_tokens (토큰) :
    return [lemmatizer.lemmatize (token.lower ()) 토큰에 대한 토큰]]

PDF 파일에서 텍스트를 가져옵니다

이제 PDF 파일에서 텍스트를 얻는 데 필요한 조치를 살펴 보겠습니다.

필요한 라이브러리를 설치하십시오

다음 라이브러리가 필요합니다.

• pypdf2
• pdfplumber
• 스파이
• nltk

PIP 사용

 PIP 설치 PYPDF2 PDFPLAMPER NLTK SPACY
Python -m Spacy 다운로드 EN_CORE_WEB_SM

PYDF2로 텍스트 추출

 pypdf2를 가져옵니다

def text_from_pdf (pdf_file) :
    파일로 Open (pdf_file, 'rb')을 사용하여 :
        reader = pypdf2.pdfreader (파일)
        텍스트 = ""
        Page_num in Range (Len (reader.pages)) :
            page = reader.pages [page_num]
            text = page.extract_text () "\ n"
    리턴 텍스트

pdfplumber에서 텍스트 추출

 PDFPLAMBER 가져 오기

def text_from_pdf (pdf_file) :
    pdfplumber.open (pdf_file)으로 pdf :
        텍스트 = ""
        pdf.pages의 페이지 용 :
            text = page.extract_text () "\ n"
    리턴 텍스트
pdf_file = 'Soniasingla-datascience-bio.pdf'

# PDF에서 텍스트를 추출합니다
text = text_from_pdf (pdf_file)

# 추출 된 텍스트를 토큰 화합니다
토큰 = Word_tokenize (텍스트)

인쇄 (토큰)

일관성을위한 토큰 정규화

이미지 대신 PDF 파일을 처리하고 반복 된 단어가 여러 점수를받지 않도록하려면 이전 코드를 수정하십시오. PDF 파일에서 텍스트를 추출하고 토큰 화하고 다른 필드의 특정 단어와 토큰을 비교합니다. 코드는 고유 한 일치하는 단어를 기반으로 점수를 계산합니다.

 PDFPLAMBER 가져 오기
NLTK 가져 오기
nltk.tokenize import Word_tokenize


nltk.download ( 'punkt')


def extract_text_from_pdf (pdf_file) :
    pdfplumber.open (pdf_file)으로 pdf :
        텍스트 = ""
        pdf.pages의 페이지 용 :
            text = page.extract_text () "\ n"
    리턴 텍스트


def tokenize_text (텍스트) :
    토큰 = Word_tokenize (텍스트)
    토큰을 반환하십시오


def compare_tokens_and_score (토큰, 특정_words, score_per_match = 10) :
    # 세트를 사용하여 중복을 방지하기 위해 고유 한 일치하는 단어를 저장합니다.
    고유 한 QUILER_MATCHED_WORDS = SET (word.lower () inciple_words의 Word의 Word에 대한 Word.Lower ())
    # 고유 한 경기에 따라 총 점수를 계산합니다
    Total_score = len (고유 한 _matched_words) * score_per_match
    고유 한 _matched_words, total_score를 반환합니다

# 다른 필드에 대한 특정 단어 세트를 정의합니다
fields_keywords = {

    "data_science_carrier": { '감독 기계 학습', '감독되지 않은 기계 학습', '데이터', '분석', '통계', 'Python'},
        
    # 여기에 더 많은 필드와 키워드를 추가하십시오
}

# 4 단계 : 해당 필드의 특정 단어를 기준으로 필드를 선택하고 점수를 계산합니다.
def process_pdf_for_field (pdf_file, 필드) :
    필드가없는 경우 필드 keywords :
        print (f "field '{field}'가 정의되지 않았습니다.")
        반품
 
    텍스트 = extrac_text_from_pdf (pdf_file)
      
    Tokens = Tokenize_text (텍스트)  
    
    특정_words = fields_keywords [필드]
    고유 한 evight_matched_words, total_score = compare_tokens_and_score (토큰, 특정 _words)
      
    print (f "field : {field}")
    print ( "고유 한 일치하는 단어 :", 고유 _matched_words)
    Print ( "Total Score :", Total_Score)


pdf_file = 'Soniasingla-datascience-bio.pdf'  
필드 = 'data_science'  
process_pdf_for_field (pdf_file, fie

data_science 필드가 정의되지 않으므로 오류 메시지가 발생합니다.

오류가 제거되면 제대로 작동합니다.

케이스 감도를 올바르게 처리하고 "데이터"및 "데이터"와 같은 단어가 동일한 단어로 간주되도록하는 동안 (다른 경우에 여러 번 표시 되더라도) 토큰과 특정 단어의 경우를 정상화 할 수 있습니다. 비교 중 토큰과 특정 단어를 소문자로 변환하여이를 수행 할 수 있지만 일치하는 단어의 최종 출력에 대한 원래 케이싱을 여전히 보존합니다.

텍스트 추출의 핵심 사항

• PDFPlumber를 사용하여 PDF 파일에서 텍스트를 추출합니다.
• OCR을 사용하여 이미지를 기계 코드로 변환합니다.
• 파이썬 랩 코드를 텍스트로 변환하기 위해 pytesseract 사용.

결론

우리는 Python을 사용한 자동화 기술에 중점을 둔 CVS에서 데이터를 추출하고 분석하는 중요한 프로세스를 탐색했습니다. PDF 및 이미지를 포함한 다양한 파일 형식에서 효과적인 텍스트 추출을 위해 NLTK, Spacy, PytesserAct 및 Pillow와 같은 필수 라이브러리를 활용하는 방법을 배웠습니다. 토큰 화, 텍스트 정규화 및 점수를위한 방법을 적용함으로써 후보자의 자격을 직업 요구 사항에 따라 효율적으로 조정하는 방법에 대한 통찰력을 얻었습니다. 이 체계적인 접근 방식은 고용주의 채용 과정을 간소화 할뿐만 아니라 자신의 기술에 맞는 직책을 확보 할 수있는 후보자의 기회를 향상시킵니다.

주요 테이크 아웃

• CVS의 효율적인 데이터 추출은 채용 프로세스를 자동화하는 데 필수적입니다.
• NLTK, Spacy, PytesserAct 및 Pillow와 같은 도구는 텍스트 추출 및 처리에 필수적입니다.
• 적절한 토큰 화 방법은 CVS의 내용을 정확하게 분석하는 데 도움이됩니다.
• 키워드를 기반으로 스코어링 메커니즘을 구현하면 후보자와 작업 요구 사항 간의 일치 프로세스가 향상됩니다.
• Lemmatization과 같은 기술을 통해 토큰을 정상화하면 텍스트 분석 정확도가 향상됩니다.

자주 묻는 질문

Q1. PDF에서 텍스트를 추출 할 수있는 방법은 무엇입니까?

A. PDF에서 텍스트를 추출하려면 PYPDF2 또는 PDFPLUMBER 라이브러리.

Q2. 이미지 형식으로 CV에서 텍스트를 추출하는 방법은 무엇입니까?

A. CV가 이미지 형식 (스캔 문서 또는 사진) 인 경우 OCR (광학 문자 인식)을 사용하여 이미지에서 텍스트를 추출 할 수 있습니다. 파이썬에서 가장 일반적으로 사용되는 도구는 PytesserAct이며 TesserAct OCR의 래퍼입니다.

Q3. OCR에서 품질이 좋지 않은 이미지를 어떻게 처리합니까?

A. 이미지를 OCR에 공급하기 전에 이미지의 품질을 향상 시키면 텍스트 추출 정확도가 크게 향상 될 수 있습니다. OpenCV와 같은 도구를 사용한 그레이 스케일 변환, 임계 값 및 노이즈 감소와 같은 기술이 도움이 될 수 있습니다.

이 기사에 표시된 미디어는 분석 Vidhya가 소유하지 않으며 저자의 재량에 따라 사용됩니다.

위 내용은 CV 데이터 추출의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!