CV -Datenextraktion

Einführung

Bei der Teilnahme an einem Vorstellungsgespräch oder einer Einstellung für ein großes Unternehmen ist die Überprüfung jedes Lebenslaufs im Detail aufgrund des hohen Volumens der Bewerber häufig unpraktisch. Die Nutzung der CV -Datenextraktion, um sich darauf zu konzentrieren, wie gut die wichtigsten Beschäftigungsanforderungen mit dem Lebenslauf eines Kandidaten entsprechen können, kann sowohl für den Arbeitgeber als auch für den Kandidaten zu einer erfolgreichen Übereinstimmung führen.

Stellen Sie sich vor, Sie haben Ihr Profiletikett überprüft - müssen sich keine Sorgen machen! Es ist jetzt einfach, Ihre Passform für eine Position zu beurteilen und alle Lücken in Ihren Qualifikationen im Vergleich zu den Arbeitsanforderungen zu identifizieren.

Wenn beispielsweise ein Job -Posting die Erfahrung im Projektmanagement und die Fähigkeiten in einer bestimmten Software hervorhebt, sollte der Kandidat sicherstellen, dass diese Fähigkeiten in seinem Lebenslauf deutlich sichtbar sind. Dieser gezielte Ansatz hilft, Manager schnell qualifizierte Bewerber zu identifizieren, und stellt sicher, dass der Kandidat für Positionen in Betracht gezogen wird, in denen sie gedeihen können.

Durch die Betonung der relevantesten Qualifikationen wird der Einstellungsprozess effizienter und beide Parteien können von einer guten Passform profitieren. Das Unternehmen findet das richtige Talent schneller, und der Kandidat ist eher eine Rolle, die ihren Fähigkeiten und Erfahrungen entspricht.

Lernergebnisse

• Verstehen Sie die Bedeutung der Datenextraktion von CVS für die Automatisierung und Analyse.
• Gewinnen Sie Kenntnisse bei der Verwendung von Python -Bibliotheken für die Textextraktion aus verschiedenen Dateiformaten.
• Erfahren Sie, wie Sie Bilder vorbereiten, um die Genauigkeit der Textextraktion zu verbessern.
• Erforschen Sie Techniken zur Handhabungsfallempfindlichkeit und Normalisierung von Token in extrahierter Text.
• Identifizieren Sie wichtige Tools und Bibliotheken, die für die effektive CV -Datenextraktion wesentlich sind.
• Entwickeln Sie praktische Fähigkeiten beim Extrahieren von Text aus Bildern und PDF -Dateien.
• Erkennen Sie die Herausforderungen bei der Extraktion von CV -Daten und effektiven Lösungen.

Dieser Artikel wurde als Teil des Data Science -Blogathons veröffentlicht.

Inhaltsverzeichnis

Wesentliche Tools für die CV -Datenextraktion

• Python
• Bibliotheken: NLTK und Spacy
• Pytesseract
• Kissenbibliothek
• Bilder oder PDF -Dateien
• PDFPLUMBER oder PYPDF2

Erhalten von Wörtern aus PDF -Dateien oder Bildern

• Installieren Sie die Pytesseract -OCR -Maschine.
• Installieren Sie Bibliothekskinos
• InstallNLTK für Tokenisierung (oder Spacy) installieren
• Laden Sie Tesseract herunter und konfigurieren Sie den Pfad

Bild- und PDF -Text -Extraktionstechniken

• Vorverarbeitungsbilder für eine verbesserte OCR -Leistung vorverfernen
• Text aus PDF -Dateien abrufen
• Extraktion des Textes aus PDFPLumber
• Normalisierung von Token für Konsistenz
• Häufig gestellte Fragen

Wesentliche Tools für die CV -Datenextraktion

Um Daten aus Lebensläufen und Lebensläufen effektiv zu extrahieren, ist die Nutzung der richtigen Tools für die Straffung des Prozesses und die Gewährleistung der Genauigkeit von wesentlicher Bedeutung. In diesem Abschnitt werden wichtige Bibliotheken und Technologien hervorgehoben, die die Effizienz der CV -Datenextraktion verbessern und eine bessere Analyse und Erkenntnisse aus Kandidatenprofilen ermöglichen.

Python

Es verfügt über eine Bibliothek oder Methode, die Sätze oder Absätze in Wörter aufteilen kann. In Python können Sie mit unterschiedlichen Bibliotheken und Methoden wie Split () (Basic Tokenization) oder dem natürlichen Sprach -Toolkit (NLTK) und Spacy -Bibliotheken für fortgeschrittene Tokenisierung eine Wort Tokenisierung erzielen.

Einfache Tokenisierung (Sätze aufgeteilt) erkennen keine Punktionen und andere Sonderzeichen.

 Sätze = "Heute ist ein schöner Tag!"
sätze.split ()
['Heute ist ein schöner Tag!.']

Bibliotheken: NLTK und Spacy

Python verfügt über ein leistungsfähigeres Tool für Tokenisierung (Natural Language Toolkit (NLTK).

In NLTK (Natural Language Toolkit) tokenisiert der Punkt-Tokenizer den Text aktiv, indem er ein vorgebildetes Modell für unbeaufsichtigte Satzaufteilung und Word-Tokenisierung verwendet.

 NLTK importieren
nltk.download ('punkt')
von NLTK importieren word_tokenize

Sätze = "Heute ist ein schöner Tag!"
sätze.split ()
Druck (Sätze)
Words = Word_Tokenize (Sätze)
Druck (Wörter)

[NLTK_DATA] Paket Punkt an herunterladen
[nltk_data] c: \ user \ ss529 \ appdata \ Roaming \ nltk_data ...
Heute ist ein schöner Tag!.
['Heute ist ein schöner Tag', '!', '.']
[NLTK_DATA] Package Punkt ist bereits auf dem neuesten Stand!

Schlüsselmerkmale von Punkt:

• Es kann einen bestimmten Text in Sätze und Wörter tokenisieren, ohne vorherige Informationen über die Grammatik oder die Syntax der Sprache zu benötigen.
• Es verwendet maschinelles Lernmodelle, um Satzgrenzen zu erkennen, was in Sprachen nützlich ist, in denen die Interpunktion nicht streng voneinander getrennt ist.

Spacy ist eine erweiterte NLP -Bibliothek, die eine genaue Tokenisierung und andere Funktionen für die Sprachverarbeitung ermöglicht.

Regelmäßige Ausdrücke: Benutzerdefinierte Tokenisierung basierend auf Mustern, erfordert jedoch manuelle Set.

 Import Re
regelmäßig = "[a-za-z] [\ w]?"
Re.Findall (reguläre Sätze)
['Heute ist ein schöner Tag!']

Pytesseract

Es handelt sich um eine pythonbasierte optische Charaktererkennungstool, die zum Lesen von Text in Bildern verwendet wird.

Kissenbibliothek

Eine Open-Source-Bibliothek zum Umgang mit verschiedenen Bildformaten, die für die Bildmanipulation nützlich sind.

Bilder oder PDF -Dateien

Lebensläufe können in PDF- oder Bildformaten erfolgen.

PDFPLUMBER oder PYPDF2

Um Text aus einem PDF zu extrahieren und ihn in Wörter zu token, können Sie diese Schritte in Python befolgen:

• Extrahieren Sie Text aus einer PDF mit einer Bibliothek wie PYPDF2 oder PDFPLumber.
• Tokenisieren Sie den extrahierten Text unter Verwendung einer beliebigen Tokenisierungsmethode wie Split (), NLTK oder Spacy.

Erhalten von Wörtern aus PDF -Dateien oder Bildern

Für PDF -Dateien benötigen wir PDF -Klempner und für Bilder ocr.

Wenn Sie Text aus einem Bild (anstelle eines PDF) extrahieren und dann auf der Grundlage vordefinierter Wörter für verschiedene Felder token und bewerten möchten, können Sie dies erreichen, indem Sie folgende Schritte folgen:

Installieren Sie die Pytesseract -OCR -Maschine.

Es wird Helpto Text aus den Bildern extrahieren

 PIP Installieren Sie Pytesseract Pillow NLTK

Installieren Sie Bibliothekskinos

Es hilft, verschiedene Bilder zu handhaben.

Wenn es um die Bildverarbeitung und -manipulation in Python geht-wie bei der Größenänderung, Kumpel oder Umwandlung zwischen verschiedenen Formaten-, ist die Open-Source-Bibliothek, die oft in den Sinn kommt, Kissen.

Lassen Sie uns sehen, wie das Kissen funktioniert, um das Bild in Jupyter Notebook zu sehen, das ich das Display verwenden muss, und in den Klammern muss die Variable speichern, die das Bild hält.

 vom PIL -Importbild
Image = Image.open ('art.jfif')
Anzeige (Bild)

Um die Größe des Bildes zu ändern und zu speichern, wird die Größe und die gespeicherte Methode verwendet, die Breite wird auf 400 und die Höhe auf 450 eingestellt.

Schlüsselmerkmale von Kissen:

• Bildformate- Unterstützen Sie verschiedene Formate
• Bildmanipulationsfunktionen - man kann die Größe ändern, Bilder zu Pflanzen, Farbbilder in Grau umwandeln usw.

InstallNLTK für Tokenisierung (oder Spacy) installieren

Ermitteln Sie, wie Sie Ihre Textverarbeitungsfunktionen verbessern, indem Sie NLTK oder Spacy installieren, zwei leistungsstarke Bibliotheken für die Tokenisierung in der Verarbeitung natürlicher Sprache.

Laden Sie Tesseract herunter und konfigurieren Sie den Pfad

Erfahren Sie, wie Sie Tesseract von Github herunterladen und in Ihr Skript nahtlos integrieren, indem Sie den erforderlichen Pfad für optimierte OCR -Funktionen hinzufügen.

 pytesseract.pytesseract.tesseract_cmd = 'c: \ Programmdateien \ Tesseract-Ocr \ Tesseract.exe' '' '

• MacOS: Brew Install Tesseract
• Linux: Installieren Sie über Package Manager (z. B. sudo apt install Tesseract-Ocr).
• PIP Installieren Sie Pytesseract -Kissen

Es gibt mehrere Tools, darunter die Google-entwickelte Open-Source-Bibliotheks-Tesseract, die viele Sprachen und OCR unterstützt hat.

Pytesseract wird für Python-basierte Projekte verwendet, die als Wrapper für Tesseract OCR-Motor fungieren.

Bild- und PDF -Text -Extraktionstechniken

Im digitalen Zeitalter ist das Extrahieren von Text aus Bildern und PDF -Dateien für verschiedene Anwendungen, einschließlich Datenanalyse und Dokumentenverarbeitung, wesentlich geworden. In diesem Artikel werden effektive Techniken zur Vorverarbeitung von Bildern und zur Nutzung leistungsstarker Bibliotheken untersucht, um die optische Charaktererkennung (OCR) zu verbessern und die Textextraktion aus verschiedenen Dateiformaten zu optimieren.

Vorverarbeitungsbilder für eine verbesserte OCR -Leistung vorverfernen

Die Vorverarbeitung von Bildern kann die OCR -Leistung verbessern, indem sie den unten genannten Schritten folgen.

• Bilder zu Graustufen: Bilder werden in Graustufen umgewandelt, um den lauten Hintergrund zu reduzieren und sich fest auf den Text selbst zu konzentrieren, und sind für Bilder mit unterschiedlichen Beleuchtungsbedingungen nützlich.
• von PIL -Importbildops
• Image = ImageOps.graysCale (Bild)
• Schwellenwert: Wenden Sie eine binäre Schwelle an, um den Text abzuheben, indem Sie das Bild in ein Schwarz-Weiß-Format umwandeln.
• Größenänderung: gehobene kleinere Bilder für eine bessere Texterkennung.
• Rauschenentfernung: Entfernen Sie Rauschen oder Artefakte im Bild mit Filtern (z. B. Gaußsche Unschärfe).

 NLTK importieren
Pytesseract importieren
vom PIL -Importbild
CV2 importieren

von nltk.tokenize import Word_tokenize

nltk.download ('punkt')
pytesseract.pytesseract.tesseract_cmd = r'c: \ user \ ss529 \ anaconda3 \ tesseract-acr \ Tesseract.exe '
Image = input ("Name der Datei:")
Bild = cv2.imread (Bild)
 
#Convert auf Graustufenbild
Gray = cv2.cvtcolor (Bilder, cv2.color_bgr2Gray)
 
von nltk.tokenize import Word_tokenize
Def text_from_image (Bild):
    img = image.open (Bild)
    text = pytesseract.image_to_string (IMG)
    Text zurückgeben
Image = 'cv1.png'


text1 = text_from_image (Bild)

# Tokenisieren den extrahierten Text
tokens = word_tokenize (text1)

Druck (Token)

Um zu wissen, wie viele Wörter den Anforderungen entsprechen, werden wir mit jedem passenden Wort als 10 Punkte vergleichen und geben.

 # Vergleich von Token mit spezifischen Wörtern, ignorieren Sie Duplikate und berechnen Sie die Punktzahl
Def Compare_tokens_and_score (Tokens, spezifische_Words, Score_Per_Match = 10):
    match_words = set (Word.lower () für Word in Tokens if Word.lower () in spezifisch_Words)
    Total_score = len (fields_keywords) * Score_per_match
    Return Total_Score zurückgeben

# Felder mit unterschiedlichen Fähigkeiten
fields_keywords = {

    "Data_Science_Carrier": {'überwachtes maschinelles Lernen', 'unbeaufsichtigtes maschinelles Lernen', 'Daten', 'Analyse', 'Statistik', 'Python'},
        
}

# Bewertung basierend auf bestimmten Wörtern für dieses Feld
Def process_image_for_field (Bild, Feld):
    Wenn das Feld nicht in fields_keywords:
        print (f "field '{field}' ist nicht definiert.")
        zurückkehren

    # Text aus dem Bild extrahieren
    text = text_from_image (Bild)
    
    # Tokenisieren den extrahierten Text
    tokens = tokenize_text (Text)
    
    # Vergleichen Sie Token mit bestimmten Wörtern für das ausgewählte Feld
    spezifisch_words = fields_keywords [Feld]
    Total_score = compare_tokens_and_score (Tokens, spezifische_Words)
    print (f "field: {field}")
    print ("Gesamtpunktzahl:", Total_Score)


Image = 'cv1.png' 
field = 'data_science_carrier'

Um die Empfindlichkeit der Fallempfindlichkeit, z. B. "Data Science" im Vergleich zu "Data Science", können wir alle Token und Schlüsselwörter in Kleinbuchstaben umwandeln.

 tokens = word_tokenize (extrahierte_text.lower ())

Mit der Verwendung von Lemmatisierung mit NLP -Bibliotheken wie NLTK oder Stemming mit Spacy, um Wörter zu reduzieren (z. B. „Laufen“ zu „Run“)

 von NLTK.Stem importieren wordnetlemmatizer

Lemmatizer = WordNetLemMatizer ()

Def Normalize_tokens (Token):
    return [lemmatizer.lemmatize (token.lower ()) für Token in Tokens]

Text aus PDF -Dateien abrufen

Erforschen wir nun die Aktionen, die erforderlich sind, um Text von PDF -Dateien zu erhalten.

Installieren Sie die erforderlichen Bibliotheken

Sie benötigen die folgenden Bibliotheken:

• PYPDF2
• pdfplumber
• Spacy
• NLTK

Verwenden von PIP

 PIP Installieren Sie PYPDF2 PDFPLUMBER NLTK Spacy
python -m spacy download eN_core_web_sm

Extraktion des Textes mit dem PYDF2

 PYPDF2 importieren

Def text_from_pdf (pdf_file):
    mit offen (pdf_file, 'rb') als Datei:
        reader = pypdf2.pdffreader (Datei)
        text = ""
        für page_num im Bereich (len (reader.pages)):
            page = reader.pages [page_num]
            text = page.extract_text () "\ n"
    Text zurückgeben

Extraktion des Textes aus PDFPLumber

 pdfplumber importieren

Def text_from_pdf (pdf_file):
    mit pdfplumber.open (pdf_file) als pdf:
        text = ""
        Für Seite in PDF.Pages:
            text = page.extract_text () "\ n"
    Text zurückgeben
pdf_file = 'Soniasingla-datascience-bio.pdf'

# Text aus der PDF extrahieren
text = text_from_pdf (pdf_file)

# Tokenisieren den extrahierten Text
tokens = word_tokenize (text)

Druck (Token)

Normalisierung von Token für Konsistenz

Um die PDF -Datei anstelle eines Bildes zu verarbeiten und sicherzustellen, dass wiederholte Wörter nicht mehrere Punkte erhalten, ändern Sie den vorherigen Code. Wir werden Text aus der PDF -Datei extrahieren, ihn tokenisieren und die Token mit bestimmten Wörtern aus verschiedenen Feldern vergleichen. Der Code berechnet die Punktzahl basierend auf eindeutigen übereinstimmenden Wörtern.

 pdfplumber importieren
NLTK importieren
von nltk.tokenize import Word_tokenize


nltk.download ('punkt')


def extract_text_from_pdf (pdf_file):
    mit pdfplumber.open (pdf_file) als pdf:
        text = ""
        Für Seite in PDF.Pages:
            text = page.extract_text () "\ n"
    Text zurückgeben


Def Tokenize_Text (Text):
    tokens = word_tokenize (text)
    Rückkehr -Token


Def Compare_tokens_and_score (Tokens, spezifische_Words, Score_Per_Match = 10):
    # Verwenden Sie einen Satz, um einzigartige übereinstimmende Wörter zu speichern, um Duplikate zu verhindern
    Unique_Matched_words = set (Word.lower () für Word in Tokens if Word.lower () in spezifischen_Words)
    # Berechnen Sie die Gesamtpunktzahl basierend auf eindeutigen Spielen
    Total_score = len (einzigartig_matched_words) * Score_per_match
    RETTION ENICAL_MATCHED_WORDS, TOTHER_SCORE

# Definieren Sie Sätze bestimmter Wörter für verschiedene Felder
fields_keywords = {

    "Data_Science_Carrier": {'überwachtes maschinelles Lernen', 'unbeaufsichtigtes maschinelles Lernen', 'Daten', 'Analyse', 'Statistik', 'Python'},
        
    # Fügen Sie hier weitere Felder und Schlüsselwörter hinzu
}

# Schritt 4: Wählen Sie das Feld aus und berechnen Sie die Punktzahl basierend auf bestimmten Wörtern für dieses Feld
DEF process_pdf_for_field (pdf_file, Feld):
    Wenn das Feld nicht in fields_keywords:
        print (f "field '{field}' ist nicht definiert.")
        zurückkehren
 
    text = extract_text_from_pdf (pdf_file)
      
    tokens = tokenize_text (Text)  
    
    spezifisch_words = fields_keywords [Feld]
    Unique_Matched_Words, Total_Score = compare_tokens_and_score (Tokens, spezifische_Words)
      
    print (f "field: {field}")
    print ("Eindeutige übereinstimmende Wörter:", Unique_Matched_Words)
    print ("Gesamtpunktzahl:", Total_Score)


pdf_file = 'Soniasingla-datascience-bio.pdf'  
field = 'data_science' '  
process_pdf_for_field (pdf_file, fie

Es erzeugt eine Fehlermeldung, da das Feld data_science nicht definiert ist.

Wenn der Fehler entfernt wird, funktioniert er gut.

Um die Fallempfindlichkeit ordnungsgemäß zu behandeln und sicherzustellen, dass Wörter wie „Daten“ und „Daten“ gleichzeitig als das gleiche Wort betrachtet werden, während sie es nur einmal bewerten (auch wenn es in verschiedenen Fällen mehrmals erscheint), können Sie den Fall von Token und spezifischen Wörtern normalisieren. Wir können dies tun, indem wir sowohl die Token als auch die spezifischen Wörter während des Vergleichs in Kleinbuchstaben umwandeln, aber das ursprüngliche Gehäuse für die endgültige Ausgabe von übereinstimmenden Wörtern erhalten.

Schlüsselpunkte zur Textbefugnis

• Verwenden Sie PDFPLumber, um den Text aus der PDF -Datei zu extrahieren.
• Verwenden von OCR, um das Bild in den Maschinencode umzuwandeln.
• Verwenden Sie Pytesseract zum Umwandeln von Python -Wrap -Codes in Text.

Abschluss

Wir haben den entscheidenden Prozess des Extrahierens und Analyse von Daten aus CVS untersucht und sich auf Automatisierungstechniken mithilfe von Python konzentriert. Wir haben gelernt, wie man essentielle Bibliotheken wie NLTK, Spacy, Pytesseract und Kissen zur effektiven Textextraktion aus verschiedenen Dateiformaten, einschließlich PDFs und Bildern, verwendet. Durch die Anwendung von Methoden für Tokenisierung, Textnormalisierung und Bewertung haben wir Einblicke in die effiziente Ausrichtung der Qualifikationen der Kandidaten mit den Arbeitsanforderungen gewonnen. Dieser systematische Ansatz optimiert nicht nur den Einstellungsprozess für Arbeitgeber, sondern verbessert auch die Chancen der Kandidaten, Positionen zu sichern, die ihren Fähigkeiten entsprechen.

Key Takeaways

• Die effiziente Datenextraktion aus CVS ist für die Automatisierung des Einstellungsprozesses von entscheidender Bedeutung.
• Tools wie NLTK, Spacy, Pytesseract und Kissen sind für die Textbefugnis und -verarbeitung unerlässlich.
• Richtige Tokenisierungsmethoden helfen bei der korrekten Analyse des CVS -Inhalts.
• Die Implementierung eines auf Schlüsselwörtern basierenden Bewertungsmechanismus verbessert den Übereinstimmungsprozess zwischen Kandidaten und Arbeitsanforderungen.
• Die Normalisierung von Token durch Techniken wie Lemmatisierung verbessert die Genauigkeit der Textanalyse.

Häufig gestellte Fragen

Q1. Wie kann man Text von PDF extrahieren lassen?

A. PYPDF2- oder PDFPLUMBER -Bibliotheken, um Text aus PDF zu extrahieren.

Q2. Wie extrahiere ich Text aus CV im Bildformat?

A. Wenn sich der Lebenslauf im Bildformat (gescanntes Dokument oder Foto) befindet, können Sie OCR (optische Zeichenerkennung) verwenden, um Text aus dem Bild zu extrahieren. Das am häufigsten verwendete Werkzeug dafür in Python ist Pytesseract, ein Wrapper für Tesseract OCR.

Q3. Wie gehe ich in OCR mit schlechter Qualitätsbildern um?

A. Die Verbesserung der Qualität der Bilder, bevor Sie sie in OCR einfügen, kann die Genauigkeit der Textextraktion erheblich erhöhen. Techniken wie Graustufenkonvertierung, Schwellenwert und Rauschreduzierung unter Verwendung von Tools wie OpenCV können helfen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Das obige ist der detaillierte Inhalt vonCV -Datenextraktion. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!