In einer Zeit, in der Daten Gold wert sind, ist Crunchbase eine Goldgrube. Hier finden Sie Tausende von Unternehmensprofilen, deren Investitionsdaten, Führungspositionen, Finanzierungsinformationen, Neuigkeiten und vieles mehr. Crunchbase Scraping ermöglicht es Ihnen, an die Goldbrocken (die Erkenntnisse, die Sie benötigen) zu gelangen und alle Trümmer (alle anderen für Sie irrelevanten Informationen) herauszufiltern.
In diesem Artikel führen wir Sie durch den Prozess der Erstellung eines Crunchbase-Scraper von Grund auf, einschließlich aller technischen Details und des Codes mit Python, mit einer funktionierenden Demo, die Sie mitverfolgen können. Vor diesem Hintergrund sollten Sie sich auch darüber im Klaren sein, dass der Bau eines Crunchbase-Scraper eine zeitaufwändige Aufgabe mit vielen Herausforderungen ist. Aus diesem Grund werden wir auch eine Demo eines alternativen Ansatzes mit Proxycurl durchgehen, einem kostenpflichtigen API-basierten Tool, das Ihnen die Arbeit abnimmt. Wenn Sie beide Optionen auf dem Tisch haben, können Sie deren Vorteile abwägen und diejenige auswählen, die Ihren Anforderungen am besten entspricht.
Hier ist ein kleiner Vorgeschmack auf einen einfachen Crunchbase-Scraper, der Python verwendet, um den Firmennamen und die Stadt des Hauptsitzes aus der Website zu extrahieren.
import requests
from bs4 import BeautifulSoup
url = 'https://www.crunchbase.com/organization/apple'
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')
name_section = soup.find('h1', class_='profile-name')
company_name = name_section.get_text(strip=True) if name_section else 'N/A'
headquarters_section = soup.find('span', class_='component--field-formatter field_type_text')
headquarters_city = headquarters_section.get_text(strip=True) if headquarters_section else 'N/A'
print(f"Company Name: {company_name}")
print(f"Headquarters City: {headquarters_city}")
Nun zu unserem alternativen Ansatz, Proxycurl. Es ist ein vergleichsweise effizientes Crunchbase-Scraping-Tool und Sie können mit nur wenigen Codezeilen dieselben Unternehmensinformationen abrufen. Der zusätzliche Vorteil besteht darin, dass Sie sich mit Proxycurl keine Gedanken über HTML-Parsing oder Scraping-Hürden machen müssen.
import requests
api_key = 'YOUR_API_KEY'
headers = {'Authorization': 'Bearer ' + api_key}
api_endpoint = 'https://nubela.co/proxycurl/api/linkedin/company'
params = {
'url': 'https://www.linkedin.com/company/apple/',
}
response = requests.get(api_endpoint, params=params, headers=headers)
data = response.json()
print(f"Company Name: {data['company_name']}")
print(f"Company Headquarter: {data['hq']['city']}")
Am Ende dieses Artikels sind Sie mit beiden Methoden vertraut und können eine fundierte Entscheidung treffen. Egal, ob Sie nun die Ärmel hochkrempeln und Ihren eigenen Schaber programmieren möchten oder eine Lösung aus einer Hand suchen: Lesen Sie weiter, um Ihren Crunchbase-Schaber einzurichten.
Crunchbase enthält verschiedene Datentypen, darunter Akquisitionen, Personen, Ereignisse, Hubs und Finanzierungsrunden. In diesem Artikel erstellen wir einen einfachen Crunchbase-Scraper, um die Beschreibung eines Unternehmens zu analysieren und als JSON-Daten abzurufen. Nehmen wir als Beispiel Apple.
Zuerst müssen wir eine Funktion definieren, um die Firmenbeschreibung zu extrahieren. Die Funktion get_company_description() sucht nach dem Span-HTML-Element, das die Beschreibung des Unternehmens enthält. Anschließend wird der Text extrahiert und zurückgegeben:
def get_company_description(raw_html):
description_section = raw_html.find("span", {"class": "description"})
return description_section.get_text(strip=True) if description_section else "Description not found"
Dadurch wird eine HTTP-GET-Anfrage an die URL des Unternehmensprofils gesendet, das Sie auswerten möchten, in diesem Fall das Profil von Apple. So sieht der vollständige Code aus:
import requests
from bs4 import BeautifulSoup
def get_company_description(raw_html):
# Locate the description section in the HTML
description_section = raw_html.find("span", {"class": "description"})
# Return the text if found, else return a default message
return description_section.get_text(strip=True) if description_section else "Description not found"
# URL of the Crunchbase profile to scrape
url = "https://www.crunchbase.com/organization/apple"
# Set the User-Agent header to simulate a browser request
headers = {"User-Agent": "Mozilla/5.0"}
# Send a GET request to the specified URL
response = requests.get(url, headers=headers)
# Check if the request was successful (status code 200)
if response.status_code == 200:
# Parse the HTML content of the response using BeautifulSoup
soup = BeautifulSoup(response.content, "html.parser")
# Call the function to get the company description
company_description = get_company_description(soup)
# Print the retrieved company description
print(f"Company Description: {company_description}")
else:
# Print an error message if the request failed
print(f"Failed to retrieve data. Status Code: {response.status_code}")
Dieses Skript dient dazu, die Unternehmensbeschreibung von Apple aus Crunchbase abzurufen. Abhängig von Ihrer Erfahrung und dem, wonach Sie suchen, kann es viel schwieriger werden. Der Umgang mit großen Datenmengen, die Verwaltung der Paginierung, die Umgehung von Authwall-Mechanismen – auf dem Weg dorthin gibt es viele Hürden. Denken Sie daran, dass Sie Folgendes tun müssen:
**Hinweis: Überprüfen Sie die Nutzungsbedingungen der Website und die robots.txt-Datei, um sicherzustellen, dass Sie verantwortungsbewusst und innerhalb der gesetzlichen Grenzen scrapen.
Der Bau eines eigenen Crunchbase-Schabers ist eine praktikable Option, aber bevor Sie loslegen, sollten Sie sich darüber im Klaren sein, welche Herausforderungen auf Sie warten.
Ihre Bemühungen sind sinnlos, wenn die extrahierten Daten falsch sind. Manuelles Scraping erhöht die Fehlerquote und der Code übersieht möglicherweise wichtige Daten, wenn die Seite nicht vollständig geladen wird oder wenn Inhalte in Iframes oder externe Ressourcen eingebettet sind.
Das Parsen des HTML-Codes einer Webseite zum Extrahieren bestimmter Datenfelder ist ein grundlegender Schritt beim Scraping. Der HTML-Code von Crunchbase ist komplex, mit dynamischen Elementen und mehreren Containerebenen. Es ist eine Aufgabe für sich, die richtigen Daten zu identifizieren und gezielt einzusetzen. Zusammen mit der sich ändernden Struktur der Website kann dies Ihre Arbeit um das Zehnfache erschweren.
Crunchbase schützt die meisten seiner Daten hinter einer Authwall und erfordert Anmeldeinformationen oder ein Premium-Konto. Die manuelle Handhabung von Anmeldesitzungen, Token oder Cookies im Scraper macht die Aufgabe komplexer, insbesondere wenn es darum geht, diese Sitzungen über mehrere Anfragen hinweg aufrechtzuerhalten. Ebenso verwendet Crunchbase Bot-Erkennungssysteme und Anfragen zur Ratenbegrenzung. Sie laufen Gefahr, blockiert zu werden, und um diese Schutzmaßnahmen zu umgehen, müssen Techniken wie rotierende Proxys oder der Umgang mit CAPTCHAs implementiert werden, was leichter gesagt als getan ist.
Der Bau Ihres eigenen Crunchbase-Schabers gibt Ihnen Flexibilität und ein Erfolgserlebnis, aber wägen Sie das gegen die damit verbundenen Herausforderungen ab. Es erfordert umfassendes technisches Fachwissen, ständige Überwachung und Anstrengung, um die gewünschten Daten zu erhalten. Ganz zu schweigen davon, wie zeitaufwändig und fehleranfällig der Prozess sein kann. Überlegen Sie, ob sich der Aufwand und die Wartung für Ihre Bedürfnisse wirklich lohnen.
Puh! Der Aufbau Ihres Crunchbase Scrapers von Grund auf ist mit Sicherheit eine ernsthafte Arbeit. Sie müssen nicht nur viel Zeit und Mühe investieren, sondern auch nach potenziellen Herausforderungen Ausschau halten. Gott sei Dank gibt es Proxycurl!
Nutzen Sie die Endpunkte von Proxycurl und erhalten Sie alle Daten, die Sie sich nur wünschen können, im JSON-Format. Und da Crunchbase nur öffentliche Daten über das Unternehmen bereitstellt, liegen keine Daten außerhalb Ihrer Reichweite. Jeder Versuch, private Informationen zu extrahieren, führt zu 404. Seien Sie versichert, dass Ihnen für eine Anfrage, die einen Fehlercode zurückgibt, niemals Gebühren berechnet werden.
Proxycurl stellt Ihnen eine Liste von Standardfeldern unter dem Firmenprofil-Endpunkt zur Verfügung. Ein vollständiges Beispiel einer Antwort finden Sie in der Dokumentation auf der rechten Seite unter der Anfrage, die sie generiert hat. Proxycurl hat die Möglichkeit, die folgenden Felder auf Ihren Wunsch zu scannen:
Für jedes dieser von Ihnen angeforderten Felder fallen zusätzliche Kreditkosten an. Wählen Sie daher nur die Parameter aus, die Sie benötigen. Aber wenn Sie sie brauchen, speichert Proxycurl sie um einen einzigen Parameter!
Da wir nun mit Proxycurl vertraut sind, gehen wir eine funktionierende Demo durch. Wir werden zwei Beispiele hinzufügen, für Postman und dann für Python.
Erstellen Sie ein Konto bei Proxycurl und Ihnen wird ein eindeutiger API-Schlüssel zugewiesen. Proxycurl ist eine kostenpflichtige API und Sie müssten jede Anfrage mit einem Bearer-Token (Ihrem API-Schlüssel) authentifizieren. Sie erhalten außerdem 100 Credits, wenn Sie sich mit Ihrer geschäftlichen E-Mail-Adresse angemeldet haben, und 10 Credits, wenn Sie Ihre private E-Mail-Adresse verwendet haben. Dann können Sie sofort mit dem Experimentieren beginnen! So sollte Ihr Dashboard aussehen.
Von hier aus können Sie nach unten scrollen und wählen, ob Sie mit dem Personenprofil-Endpunkt oder dem Firmenprofil-Endpunkt arbeiten möchten. Der Personenprofil-Endpunkt ist ein nützliches Tool, wenn Sie LinkedIn durchsuchen möchten. Weitere Informationen finden Sie unter „So erstellen Sie einen LinkedIn Data Scraper“.
Für diesen Anwendungsfall arbeiten wir lediglich mit dem Unternehmensprofil-Endpunkt.
Gehen Sie zur Sammlung von Proxycurl in Postman, klicken Sie auf das Dokument „Firmenprofil-Endpunkt“, suchen Sie nach der orangefarbenen Schaltfläche „In Postman ausführen“ und klicken Sie darauf. Klicken Sie dann auf „Fork Collection“ und melden Sie sich an, wie Sie möchten. Es sollte ungefähr so aussehen. Wir haben ein vollständiges Tutorial zum Einrichten der Proxycurl-API in Postman.
Einrichten der Proxycurl-API in Postman
Sobald Sie sich in Postman befinden, gehen Sie zu „Autorisierung“, wählen Sie „Bearer Token“, fügen Sie Ihr Token (Ihren API-Schlüssel) hinzu und beschränken Sie es auf „Proxycurl“. Sie können dies über die Registerkarte „Variablen“ oder über das Popup-Fenster tun, das angezeigt wird, wenn Sie mit der Eingabe in das Feld „Token“ beginnen. Benennen Sie den Token nach Ihren Wünschen oder verwenden Sie einfach den Namen „Inhaber-Token“.
Stellen Sie sicher, dass der Autorisierungstyp auf „Bearer Token“ eingestellt ist und dass Sie {{Bearer Token}} in das Token-Feld eingegeben haben, und klicken Sie oben rechts auf Speichern. Denken Sie daran, auf Speichern zu klicken!! Ihre Seite sollte so aussehen:
Gehen Sie auf der linken Seite unter „Mein Arbeitsbereich“ zu Ihrer Proxycurl-Sammlung und dann zur Unternehmens-API. Im Dropdown-Menü finden Sie eine Liste mit Optionen. Folgendes müssen Sie jedoch wissen:
The various company-related endpoints
Go to Company Profile Endpoint and from there, you can uncheck some of the fields if you want or modify others. For instance, you might want to change use_cache from if-present to if-recent to get the most up-to-date info, but maybe you don't need the acquisitions information this time.
Choose the relevant fields that you need. Some cost extra credits.
Once you've modified all the fields to your liking, click the blue "Send" button in the upper left-hand corner. Your output should look something like this.
If you come across a 401 status code, it is most likely you forgot to hit Save after setting the Authorization type to {{Bearer Token}} in Step 2. A good way to troubleshoot this is to see if you can fix it by editing the Authorization tab for this specific query to be the {{Bearer Token}} variable. If that fixes it, then the auth inheritance isn't working, which probably means you forgot to save.
Now let’s try and do the same with Python. In the Proxycurl docs under Company Profile Endpoint, you can toggle between shell and Python. We’ll use the company endpoint to pull Crunchbase-related data, and it’s as simple as switching to Python in the API docs.
Toggle between shell and Python
Now, we can paste in our API key where it says YOUR_API_KEY. Once we have everything set up, we can extract the JSON response and print it. Here’s the code for that, and you can make changes to it as needed:
import requests
api_key = 'YOUR_API_KEY'
headers = {'Authorization': 'Bearer ' + api_key}
api_endpoint = 'https://nubela.co/proxycurl/api/linkedin/company'
params = {
'url': 'https://www.linkedin.com/company/apple/',
'categories': 'include',
'funding_data': 'include',
'exit_data': 'include',
'acquisitions': 'include',
'extra': 'include',
'use_cache': 'if-present',
'fallback_to_cache': 'on-error',
}
response = requests.get(api_endpoint, params=params, headers=headers)
print(response.json())
Now, what you get is a structured JSON response that includes all the fields that you have specified. Something like this:
"linkedin_internal_id": "162479",
"description": "We're a diverse collective of thinkers and doers, continually reimagining what's possible to help us all do what we love in new ways. And the same innovation that goes into our products also applies to our practices -- strengthening our commitment to leave the world better than we found it. This is where your work can make a difference in people's lives. Including your own.\n\nApple is an equal opportunity employer that is committed to inclusion and diversity. Visit apple.com/careers to learn more.",
"website": "http://www.apple.com/careers",
"industry": "Computers and Electronics Manufacturing",
"company_size": [
10001,
null
],
"company_size_on_linkedin": 166869,
"hq": {
"country": "US",
"city": "Cupertino",
"postal_code": "95014",
"line_1": "1 Apple Park Way",
"is_hq": true,
"state": "California"
},
"company_type": "PUBLIC_COMPANY",
"founded_year": 1976,
"specialities": [
"Innovative Product Development",
"World-Class Operations",
"Retail",
"Telephone Support"
],
"locations": [
{
"country": "US",
"city": "Cupertino",
"postal_code": "95014",
"line_1": "1 Apple Park Way",
"is_hq": true,
"state": "California"
}
]
...... //Remaining Data
}
Great! Congratulations on your journey from zero to data!
Yes, scraping Crunchbase is legal. The legality of scraping is based on different factors like the type of data, the website’s terms of service, data protection laws like GDPR, and much more. The idea is to scrape for publicly available data within these boundaries. Since Crunchbase only houses public data, it is absolutely legal to scrape by operating within the Crunchbase Terms of Service.
A DIY Crunchbase scraper can be an exciting project and gives you full control over the data extraction process. But be mindful of the challenges that come with it. Facing a roadblock in each step can make scraping a time-consuming and often fragile process that requires technical expertise and constant maintenance.
Proxycurl provides a simpler and more reliable alternative. Follow along with the steps and you can access structured company data through an API without worrying about any roadblocks. Dedicate your time by focusing on using the data and leave the hard work and worry to Proxycurl!
We'd love to hear from you! If you build something cool with our API, let us know at hello@nubela.co! And if you found this guide useful, there's more where it came from - sign up for our newsletter!
以上是如何使用程式碼示範建立 Crunchbase Scraper的詳細內容。更多資訊請關注PHP中文網其他相關文章！
