Tutorial Terperinci: Merangkak Folder Repositori GitHub Tanpa API-Tutorial Python-php.cn

Detailed Tutorial: Crawling GitHub Repository Folders Without API

Tutorial Sangat Terperinci: Merangkak Folder Repositori GitHub Tanpa API

Tutorial ultra-perincian ini, yang dikarang oleh Shpetim Haxhiu, membimbing anda merangkak folder repositori GitHub secara pemprograman tanpa bergantung pada API GitHub. Ia merangkumi segala-galanya daripada memahami struktur sehingga menyediakan pelaksanaan rekursif yang teguh dengan peningkatan.

1. Persediaan dan Pemasangan

Sebelum anda bermula, pastikan anda mempunyai:

Python: Versi 3.7 ke atas dipasang.
Perpustakaan: Permintaan pemasangan dan BeautifulSoup.

   pip install requests beautifulsoup4

Salin selepas log masuk

Editor: Mana-mana IDE yang disokong Python, seperti VS Code atau PyCharm.

2. Menganalisis Struktur HTML GitHub

Untuk mengikis folder GitHub, anda perlu memahami struktur HTML halaman repositori. Pada halaman repositori GitHub:

Folder dipautkan dengan laluan seperti /tree//.
Fail dipautkan dengan laluan seperti /blob//.

Setiap item (folder atau fail) berada di dalam

dengan atribut role="rowheader" dan mengandungi tag. Contohnya:

<div role="rowheader">
  <a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>

Salin selepas log masuk

3. Melaksanakan Pengikis

3.1. Fungsi Merangkak Berulang

Skrip akan mengikis folder secara rekursif dan mencetak strukturnya. Untuk mengehadkan kedalaman rekursi dan mengelakkan beban yang tidak perlu, kami akan menggunakan parameter kedalaman.

import requests
from bs4 import BeautifulSoup
import time

def crawl_github_folder(url, depth=0, max_depth=3):
    """
    Recursively crawls a GitHub repository folder structure.

    Parameters:
    - url (str): URL of the GitHub folder to scrape.
    - depth (int): Current recursion depth.
    - max_depth (int): Maximum depth to recurse.
    """
    if depth > max_depth:
        return

    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(url, headers=headers)

    if response.status_code != 200:
        print(f"Failed to access {url} (Status code: {response.status_code})")
        return

    soup = BeautifulSoup(response.text, 'html.parser')

    # Extract folder and file links
    items = soup.select('div[role="rowheader"] a')

    for item in items:
        item_name = item.text.strip()
        item_url = f"https://github.com{item['href']}"

        if '/tree/' in item_url:
            print(f"{'  ' * depth}Folder: {item_name}")
            crawl_github_folder(item_url, depth + 1, max_depth)
        elif '/blob/' in item_url:
            print(f"{'  ' * depth}File: {item_name}")

# Example usage
if __name__ == "__main__":
    repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
    crawl_github_folder(repo_url)

Salin selepas log masuk

4. Ciri-ciri Diterangkan

Pengepala untuk Permintaan: Menggunakan rentetan Ejen Pengguna untuk meniru penyemak imbas dan mengelak daripada menyekat.
Merangkak Rekursif:
- Mengesan folder (/tree/) dan memasukkannya secara rekursif.
- Menyenaraikan fail (/blob/) tanpa memasukkan lebih jauh.
Inden: Mencerminkan hierarki folder dalam output.
Penghadan Kedalaman: Menghalang pengulangan yang berlebihan dengan menetapkan kedalaman maksimum (kedalaman_maks).

5. Penambahbaikan

Peningkatan ini direka untuk meningkatkan kefungsian dan kebolehpercayaan perangkak. Mereka menangani cabaran biasa seperti mengeksport hasil, mengendalikan ralat dan mengelakkan had kadar, memastikan alat itu cekap dan mesra pengguna.

5.1. Mengeksport Hasil

Simpan output ke fail JSON berstruktur untuk penggunaan yang lebih mudah.

   pip install requests beautifulsoup4

Salin selepas log masuk

5.2. Ralat Pengendalian

Tambahkan pengendalian ralat yang mantap untuk ralat rangkaian dan perubahan HTML yang tidak dijangka:

<div role="rowheader">
  <a href="/owner/repo/tree/main/folder-name">folder-name</a>
</div>

Salin selepas log masuk

5.3. Mengehadkan Kadar

Untuk mengelak daripada dihadkan kadar oleh GitHub, perkenalkan kelewatan:

import requests
from bs4 import BeautifulSoup
import time

def crawl_github_folder(url, depth=0, max_depth=3):
    """
    Recursively crawls a GitHub repository folder structure.

    Parameters:
    - url (str): URL of the GitHub folder to scrape.
    - depth (int): Current recursion depth.
    - max_depth (int): Maximum depth to recurse.
    """
    if depth > max_depth:
        return

    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(url, headers=headers)

    if response.status_code != 200:
        print(f"Failed to access {url} (Status code: {response.status_code})")
        return

    soup = BeautifulSoup(response.text, 'html.parser')

    # Extract folder and file links
    items = soup.select('div[role="rowheader"] a')

    for item in items:
        item_name = item.text.strip()
        item_url = f"https://github.com{item['href']}"

        if '/tree/' in item_url:
            print(f"{'  ' * depth}Folder: {item_name}")
            crawl_github_folder(item_url, depth + 1, max_depth)
        elif '/blob/' in item_url:
            print(f"{'  ' * depth}File: {item_name}")

# Example usage
if __name__ == "__main__":
    repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
    crawl_github_folder(repo_url)

Salin selepas log masuk

6. Pertimbangan Etika

Dikarang oleh Shpetim Haxhiu, pakar dalam automasi perisian dan pengaturcaraan beretika, bahagian ini memastikan pematuhan kepada amalan terbaik semasa menggunakan perangkak GitHub.

Pematuhan: Patuhi Syarat Perkhidmatan GitHub.
Minimumkan Muatan: Hormati pelayan GitHub dengan mengehadkan permintaan dan menambah kelewatan.
Kebenaran: Dapatkan kebenaran untuk merangkak secara meluas repositori peribadi.

7. Kod Lengkap

Berikut ialah skrip disatukan dengan semua ciri disertakan:

import json

def crawl_to_json(url, depth=0, max_depth=3):
    """Crawls and saves results as JSON."""
    result = {}

    if depth > max_depth:
        return result

    headers = {"User-Agent": "Mozilla/5.0"}
    response = requests.get(url, headers=headers)

    if response.status_code != 200:
        print(f"Failed to access {url}")
        return result

    soup = BeautifulSoup(response.text, 'html.parser')
    items = soup.select('div[role="rowheader"] a')

    for item in items:
        item_name = item.text.strip()
        item_url = f"https://github.com{item['href']}"

        if '/tree/' in item_url:
            result[item_name] = crawl_to_json(item_url, depth + 1, max_depth)
        elif '/blob/' in item_url:
            result[item_name] = "file"

    return result

if __name__ == "__main__":
    repo_url = "https://github.com/<owner>/<repo>/tree/<branch>/<folder>"
    structure = crawl_to_json(repo_url)

    with open("output.json", "w") as file:
        json.dump(structure, file, indent=2)

    print("Repository structure saved to output.json")

Salin selepas log masuk

Dengan mengikuti panduan terperinci ini, anda boleh membina perangkak folder GitHub yang mantap. Alat ini boleh disesuaikan untuk pelbagai keperluan sambil memastikan pematuhan etika.

Sila tinggalkan soalan di bahagian komen! Juga, jangan lupa untuk berhubung dengan saya:

E-mel: shpetim.h@gmail.com
LinkedIn: linkedin.com/in/shpetimhaxhiu
GitHub: github.com/shpetimhaxhiu

Atas ialah kandungan terperinci Tutorial Terperinci: Merangkak Folder Repositori GitHub Tanpa API. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!