本文介绍如何利用 BeautifulSoup 定位 HTML 中带有 tel: 协议的 标签，并精准提取电话号码；同时结合 pandas 实现批量爬取客户 ID 对应的手机号，高效构建结构化数据表。

本文介绍如何利用 beautifulsoup 定位 html 中带有 `tel:` 协议的 `` 标签，并精准提取电话号码；同时结合 pandas 实现批量爬取客户 id 对应的手机号，高效构建结构化数据表。

在 Web 数据采集任务中，电话号码常以 <a href="https://www.php.cn/link/13dc99fef8bc0f15ba4a034d491330c7"></a> 形式嵌入页面（尤其在移动端适配页面中），而非明文显示。此时直接读取文本内容无法获取号码，需解析 href 属性并清洗 tel: 前缀。BeautifulSoup 是实现该目标的理想工具。

✅ 正确提取 tel: 电话号码的核心逻辑

关键在于：

1. 定位包含电话信息的容器（如 id="phone" 的 <div>）； <li>在其内部查找带 <code>href 属性且值以 "tel:" 开头的 <a></a> 标签；
2. 提取 href 值并移除协议前缀，保留纯净号码（可选标准化处理，如去 +、空格、横线等）。

以下是优化后的 get_client_phone() 函数，增强健壮性与可读性：

import requests
from bs4 import BeautifulSoup

def get_client_phone(client_id, base_url="https://example.com/client/", headers=None, timeout=10):
    """
    根据客户ID请求详情页，提取 tel: 链接中的电话号码

    Args:
        client_id (str): 客户唯一标识（如 'R_111'）
        base_url (str): 目标页面基础URL，支持 {id} 占位符
        headers (dict): 请求头（如含认证、User-Agent）
        timeout (int): HTTP 请求超时秒数

    Returns:
        str or None: 提取到的电话号码（如 '77777777777'），失败返回 None
    """
    # 构造完整URL（注意：示例中URL参数为 ?id=111，但 client_id 是 'R_111'，需按实际API规则处理）
    # 此处假设后端能识别 'R_111' 或需截取纯数字部分，根据实际情况调整：
    clean_id = client_id.replace('R_', '')  # 示例：'R_111' → '111'
    url = f"{base_url}?id={clean_id}"

    try:
        response = requests.get(url, headers=headers, timeout=timeout)
        response.raise_for_status()  # 自动抛出 4xx/5xx 异常

        soup = BeautifulSoup(response.text, 'html.parser')

        # 定位电话容器
        phone_div = soup.find(id='phone')
        if not phone_div:
            print(f"⚠️  页面未找到 id='phone' 容器（ID: {client_id}）")
            return None

        # 查找 tel: 链接
        tel_link = phone_div.find('a', href=lambda x: x and x.startswith('tel:'))
        if not tel_link:
            print(f"⚠️  未在 #phone 内找到 tel: 链接（ID: {client_id}）")
            return None

        # 提取并清洗号码（保留数字及+号，可按需进一步处理）
        raw_href = tel_link['href']
        phone_number = raw_href.replace('tel:', '').strip()

        # 【可选】标准化：仅保留数字和+号（移除空格、括号、短横等）
        # import re
        # phone_number = re.sub(r'[^\d+]', '', phone_number)

        return phone_number

    except requests.exceptions.RequestException as e:
        print(f"❌ 请求失败（ID: {client_id}）: {e}")
        return None
    except Exception as e:
        print(f"❌ 解析异常（ID: {client_id}）: {e}")
        return None

? 批量集成至 Pandas DataFrame

假设你已有原始客户数据（如含 'ID' 列的 DataFrame），推荐使用 .apply() 方式高效扩展新列：

import pandas as pd

# 示例原始数据
df = pd.DataFrame({
    'Date': ['20240514 May, 14 22:00', '20240514 May, 14 23:00'],
    'ID': ['R_111', 'R_222'],
    'Comment': ['Le client ne répond pas', None]
})

# ⚡ 一行代码添加 Phone 列（自动并发？→ 注意：此处为同步，如需提速请用 ThreadPoolExecutor）
df['Phone'] = df['ID'].apply(get_client_phone)

print(df)

输出结果： | | Date | ID | Comment | Phone | |---:|:-------------------------|:------|:------------------------|:--------------| | 0 | 20240514 May, 14 22:00 | R_111 | Le client ne répond pas | +77777777777 | | 1 | 20240514 May, 14 23:00 | R_222 | None | +88888888888 |

? 提示：若需提升大规模 ID 的采集效率，可将 apply 替换为 concurrent.futures.ThreadPoolExecutor 并行执行（注意请求频率限制与反爬策略）。

⚠️ 注意事项与最佳实践

• URL 参数对齐：示例中 client_id='R_111' 对应 URL ?id=111，务必确认服务端实际接收规则（是否需去除前缀、大小写、编码等）；
• 错误处理必加：网络请求、HTML 结构变更、元素缺失均可能导致中断，try/except 和日志反馈不可或缺；
• 反爬与 Headers：生产环境务必设置合法 User-Agent 及必要认证头（如 headers={'User-Agent': 'Mozilla/5.0...'}）；
• 速率控制：避免高频请求被封禁，建议添加 time.sleep(0.5) 或使用 requests.adapters.HTTPAdapter 配置重试与延迟；
• HTML 结构脆弱性：id="phone" 或 <a href="tel:..."></a> 是强依赖 selector，建议在关键路径增加容错判断（如 fallback 到 class 名或层级定位）。

通过以上方法，你即可稳定、可维护地从动态网页中结构化提取电话号码，并无缝融入数据分析工作流。