如何使用 python 从网站首页获取所有 url

对于初学者来说，获取一个电商网站的所有商品 url 可能会让人感到迷惑。现有的解决方案通常只获取当前网页的 url，而无法获取整个网站的所有 url。

解决方案

要解决这个难题，我们需要采用一种迭代的方法：

Python Dependency Candidate Fetcher 2

根据包的能力以及 Jupyter 环境中的导入语句，从候选列表中挑选最适合用户表格工作流的 Python 包。

下载

立即学习“Python免费学习笔记（深入）”；

1. 从首页获取初始 url 列表：使用 selenium、beautifulsoup 或其他网络爬虫库从网站首页获取一组 url。
2. 循环访问每个初始 url，获取新的 url 列表：对于每个初始 url，再次使用网络爬虫库来获取其子页面的 url 列表。
3. 将新 url 列表添加到主列表中：将从每个子页面获取的 url 添加到主 url 列表中，以扩展已爬取的 url 集合。
4. 重复步骤 2 和 3，直到遍历所有子页面：继续循环访问新获取的 url，并获取其子页面的 url，直到所有子页面都已被遍历。
5. 从 url 列表中过滤重复项并返回：遍历主 url 列表，删除重复项并返回剩余的唯一 url。

示例代码（使用 selenium）：

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://www.example.com")

initial_urls = []
for link in driver.find_elements(By.TAG_NAME, "a"):
    initial_urls.append(link.get_attribute("href"))

all_urls = initial_urls

for url in initial_urls:
    driver.get(url)
    for link in driver.find_elements(By.TAG_NAME, "a"):
        new_url = link.get_attribute("href")
        if new_url not in all_urls:
            all_urls.append(new_url)

driver.quit()

unique_urls = set(all_urls)

请注意，获取网站的所有 url 可能是一个耗时且资源密集的任务。为了提高效率，您需要优化网络爬虫的性能，例如设置爬虫频率和处理重定向。