本文介绍通过并发请求、请求节流与批量优化策略，将数十万地址的地理编码耗时从分钟级降至秒级，兼顾google maps api配额限制与稳定性。
本文介绍通过并发请求、请求节流与批量优化策略，将数十万地址的地理编码耗时从分钟级降至秒级，兼顾google maps api配额限制与稳定性。
地理编码（Geocoding）是将地址文本转换为经纬度坐标的常见任务，但使用串行同步调用 Google Geocoding API 处理大量地址（如33万条）极易成为性能瓶颈——原代码单次请求后强制 time.sleep(1)，60个地址耗时近1分钟，线性外推将达5500分钟（约3.8天），显然不可接受。根本优化方向有三：并发化、节流可控化、错误韧性增强。
✅ 推荐方案：多进程 + 请求池 + 指数退避重试
Google Maps API 允许每秒多个请求（默认QPS=50，需确认配额），但需避免触发 OVER_QUERY_LIMIT 或 RATE_LIMIT_EXCEEDED。最佳实践是固定并发进程数（如5–10个）+ 每进程严格限速（如1 req/sec），既充分利用配额，又规避封禁风险。
以下为优化后的完整示例（兼容 Python 3.8+）：
Secure Python Code Sandbox
下载
安全 Python 代码沙箱：在隔离的沙箱中执行任意 Python 代码，预装 requests、NumPy、pandas 库。返回 stdout、stderr。
import requests
import json
import pandas as pd
from multiprocessing import Pool, cpu_count
from time import sleep, time
from typing import List, Tuple, Optional
GOOGLE_API_KEY = "kkkkkkk"
GEOCODE_URL = "https://maps.googleapis.com/maps/api/geocode/json"
def geocode_single(address: str) -> Optional[Tuple[str, float, float]]:
"""单地址地理编码，含指数退避重试与状态校验"""
for attempt in range(3): # 最多重试3次
try:
params = {"address": address, "key": GOOGLE_API_KEY}
res = requests.get(GEOCODE_URL, params=params, timeout=10)
res.raise_for_status()
data = res.json()
if data["status"] == "OK":
loc = data["results"][0]["geometry"]["location"]
return (address, loc["lat"], loc["lng"])
elif data["status"] in ["ZERO_RESULTS", "INVALID_REQUEST"]:
return (address, None, None)
elif data["status"] == "OVER_QUERY_LIMIT":
sleep(2 ** attempt) # 指数退避：1s → 2s → 4s
continue
else:
print(f"Warning: {address} → {data['status']}")
return (address, None, None)
except Exception as e:
print(f"Error for {address}: {e}")
sleep(1)
return (address, None, None)
def batch_geocode(addresses: List[str], workers: int = 8) -> pd.DataFrame:
"""并行批量地理编码，返回结构化DataFrame"""
start = time()
with Pool(processes=min(workers, cpu_count())) as pool:
results = pool.map(geocode_single, addresses)
# 过滤None结果并构建DataFrame
valid_results = [r for r in results if r is not None]
df = pd.DataFrame(valid_results, columns=["address", "latitude", "longitude"])
print(f"✅ Processed {len(addresses)} addresses in {time()-start:.2f}s "
f"({len(df.dropna())}/{len(addresses)} succeeded)")
return df
# 使用示例
if __name__ == "__main__":
address_list = ["北京市朝阳区建国路1号", "上海市浦东新区世纪大道100号", "广州市天河区珠江新城"]
result_df = batch_geocode(address_list, workers=6)
print(result_df)⚠️ 关键注意事项
- API配额与计费：免费额度为每月$200信用（约40,000次请求），超量将扣费；务必在 Google Cloud Console 启用计费并监控用量。
- 地址标准化前置：在调用前清洗地址（如去除多余空格、统一“省/市/区”格式），可显著提升命中率与响应速度。
- 避免过度并发：workers > 10 可能触发IP级限流；建议先用小样本（100地址）测试最优并发数。
- 替代方案考虑：若对精度要求不高或数据敏感，可选用开源离线方案（如 Nominatim + OpenStreetMap），或国内合规服务（如高德、腾讯地图API，通常QPS更高且无境外网络延迟）。
通过以上重构，33万地址预计可在 2–4小时内稳定完成（取决于网络质量与API实时配额），效率提升超百倍，同时保障请求的鲁棒性与可维护性。
立即学习“Python免费学习笔记（深入）”；
