Webscraping dengan Python: menggunakan CSV sebagai pangkalan data

Saya mempunyai permintaan yang sangat menarik hari ini. Seseorang sedang memindahkan data dari satu tempat ke tempat lain menggunakan CSV. Data tersebut adalah pendaftaran buku untuk projek membaca. Pada satu ketika, dia berkata kepada saya: "Nah, kini kerja selebihnya adalah untuk robot. Saya perlu mendapatkan ISBN bagi setiap tajuk." Seperti yang dia katakan, itu adalah tugas robot, jadi mengapa tidak membiarkan robot melakukannya?

Sigla para International Standard Book Number. 

Sesuatu karya boleh mempunyai beberapa ISBN, ini berlaku kerana edisi tersebut mempunyai ISBN mereka sendiri. Dalam kes ini, mana-mana ISBN akan berfungsi, jika media itu serasi. Yang berikut telah didaftarkan dalam CSV:
-> ebook
-> fizikal
-> audio

Mari kita ke logiknya:
-> Muat naik dan buka fail CSV.
-> Ekstrak lajur dengan tajuk.
-> Ekstrak lajur media.
-> Untuk setiap tajuk, cari di Google mengikut ISBN.
-> Ekstrak tajuk daripada halaman.
-> Ekstrak senarai ISBN.
-> Ekstrak senarai media.
-> Semak media pendaftaran dan cari ISBN terdekat Jika kriteria kami tidak dijumpai, kembalikan item pertama dalam senarai.
-> Maklumkan dari media mana kami mengambil ISBN untuk pengesahan kemudian.

Jom lihat lib yang diperlukan:

import requests # para fazer as requisições
from bs4 import BeautifulSoup # para manipular o html recebido
import pandas as pd # para manipular os arquivos CSV
import time
import random # as duas são para gerarmos intervalos aleatórios de acesso

Senarai buku ini mempunyai lebih daripada 600 item dan kerana saya tidak mahu disekat oleh Google, kami akan membuat akses rawak dan dengan lebih banyak ruang manusia. Kami juga akan menggunakan pengepala untuk menyatakan bahawa kami mahukan versi penyemak imbas halaman. Untuk melakukan ini, pergi ke “rangkaian” dalam penyemak imbas anda dan cari "Ejen Pengguna".

Untuk mencari di Google, kami menggunakan corak URL berikut:

url_base = "https://www.google.com/search?q=isbn" # o que vem depois '=' é a pesquisa

Ingat bahawa URL tidak mempunyai ruang, jadi kami akan menggantikan ruang dalam tajuk dengan “ ”. Dalam panda, "hamparan" dipanggil DataFrame dan sangat biasa untuk menggunakan df sebagai singkatan. Akhir sekali, mungkin anda menggunakan Windows seperti saya, yang mana bar alamat sistem dilaburkan berbanding Unix. Mari tulis fungsi yang mengambil URL yang kita tampal dan membalikkannya kepada format lain.

path = r"C:\caminho\livros.csv"

def invert_url_pattern(url):
    return url.replace("\","/")

path = invert_url_pattern(path)

def search_book(path):
    url_base = "https://www.google.com/search?q=isbn"
    headers = {
    "User-Agent":"seu pc"
    }
    
    df = pd.read_csv(path, encoding='utf-8')
    books = df["Name"].tolist()
    media = df["media"].tolist()
    # vamos colocar as pesquisas aqui e depois inserir todas no DataFrame
    title_books = []
    isbn_books = []
    media_books = []  

    for index, book in enumerate(books):
        time.sleep(random.uniform(60, 90))
        
        url = url_base + "+" + book.replace(" ", "+")
        req = requests.get(url, headers=headers)

        site = BeautifulSoup(req.text, "html.parser")
        #usamos as class para buscar o conteúdo
        title = site.find("span", class_="Wkr6U")
        isbns = site.find_all("div", class_="bVj5Zb")
        medias = site.find_all("div", class_="TCYkdd")
        #se algo falhar, retornamos uma string vazia
        if(title.text == None):
            title_books.append("")
            isbn_books.append("")
            media_books.append("")
            continue

        # No loop, o último item acessado será o mais recente, 
        # pois percorremos a lista de cima para baixo. 
        # Por isso, invertendo a lista de ISBNs, garantimos que 
        # o mais novo de cada categoria seja processado por último.

        isbns = isbns[::-1]
        unified_data = {}

        for i in range(len(medias)):
            unified_data[medias[i].text] = isbns[i].text

        match media[index]:
            case "ebook":
                isbn_books.append(unified_data["Livro digital"])
                media_books.append("Livro digital")
            case "fisical":
                isbn_books.append(unified_data["Livro capa dura"])
                media_books.append("Livro capa dura")
            case "audio":
                isbn_books.append(unified_data["Audiolivro"])
                media_books.append("Audiolivro")
            case _:
                isbn_books.append(unified_data[0])
                media_books.append("")

        title_books.append(title.text)

    df["Titulo do Livro"] = title_books
    df["ISBN"] = isbn_books
    df["Tipo de Livro"] = media_books

    return df

Baiklah, semuanya sedia untuk kami uji! Saya akan meninggalkan baris contoh tentang apa yang saya terima supaya anda boleh mengujinya.

Name	language	media
this other eden	?? english	audio

df = search_book(path)

df.to_csv(invert_url_pattern("C:seu\caminho\para\salvar\nome_do_arquivo.csv"), encoding='utf-8', index=False)

Saya harap ia berguna untuk anda dan anda boleh mengautomasikan sesuatu dalam kehidupan seharian anda!

Atas ialah kandungan terperinci Webscraping dengan Python: menggunakan CSV sebagai pangkalan data. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!