本文详解 Crawl4AI 0.7.x 版本中 LLMConfig 的用法，涵盖初始化方式、与 LLMExtractionStrategy 的集成规范、常见报错（如 LLM Provider NOT provided）的根源及修复方案，并提供 Groq、Ollama 等主流后端的完整可运行示例。
本文详解 crawl4ai 0.7.x 版本中 `llmconfig` 的用法，涵盖初始化方式、与 `llmextractionstrategy` 的集成规范、常见报错（如 `llm provider not provided`）的根源及修复方案，并提供 groq、ollama 等主流后端的完整可运行示例。
自 Crawl4AI v0.7 起，框架对 LLM 集成层进行了统一重构：原分散于策略类中的 provider、api_token、api_base 等参数被正式收归至独立的 LLMConfig 对象中。这一设计不仅提升了配置一致性，也与底层 litellm 抽象层深度对齐——LLMConfig 本质是 litellm 模型调用参数的语义化封装，其 provider 字段必须严格匹配 litellm 所支持的模型标识符（如 "groq/grok-chat"、"ollama/llama3"），否则将触发 BadRequestError。
✅ 正确初始化 LLMConfig
LLMConfig 是一个数据类（@dataclass），需显式传入 provider 和认证凭据。注意：
-
provider格式为"vendor/model-name"（如"groq/grok-chat"、"openai/gpt-4o"、"ollama/phi3"）； -
api_token用于 Groq、OpenAI 等云服务；本地 Ollama 则可设为任意非空字符串（如"ollama"）； - 若 Ollama 运行在非默认地址（
http://localhost:11434），必须通过api_base显式指定。
from crawl4ai import LLMConfig
import os
# ✅ Groq 示例（需设置 GROQ_API_KEY）
llm_config_groq = LLMConfig(
provider="groq/grok-chat",
api_token=os.getenv("GROQ_API_KEY"),
)
# ✅ Ollama 示例（本地部署，端口默认）
llm_config_ollama = LLMConfig(
provider="ollama/llama3",
api_token="ollama", # 占位符，Ollama 不校验 token
api_base="http://localhost:11434/v1", # 必须显式声明，否则 fallback 到 OpenAI 地址
)⚠️ 常见错误：LLM Provider NOT provided
你遇到的报错：
litellm.BadRequestError: LLM Provider NOT provided. Pass in the LLM provider you are trying to call. You passed model=grok/grok-chat
根本原因在于：LLMConfig.provider 值未被正确解析为 litellm 可识别的模型标识。典型诱因包括：
-
provider字符串格式错误（如写成"grok-chat"缺少 vendor 前缀）； -
LLMConfig实例未被传入策略，而是错误地将provider直接作为字符串传给LLMExtractionStrategy； - 环境变量冲突（如
OPENAI_API_KEY存在时，litellm可能误判为 OpenAI 请求）。
✅ 正确集成方式（关键：llm_config= 参数）：
from crawl4ai import LLMExtractionStrategy
from pydantic import BaseModel
class Product(BaseModel):
name: str
price: float
description: str
INSTRUCTION_TO_LLM = "从网页内容中精准提取商品名称、价格和描述，严格按 JSON Schema 输出。"
llm_strategy = LLMExtractionStrategy(
llm_config=llm_config_groq, # ✅ 必须传入 LLMConfig 实例，不可传字符串！
schema=Product.model_json_schema(),
extraction_type="schema",
instruction=INSTRUCTION_TO_LLM,
chunk_token_threshold=1000,
apply_chunking=True,
input_format="markdown",
extra_args={"temperature": 0.0, "max_tokens": 800},
)? 完整端到端示例（含异步爬取 + LLM 提取）
import asyncio
from crawl4ai import AsyncWebCrawler, LLMConfig, LLMExtractionStrategy
from crawl4ai.async_configs import CrawlerRunConfig
from pydantic import BaseModel
class Product(BaseModel):
name: str
price: str
rating: float
async def main():
# 1. 配置 LLM（以 Ollama 为例）
llm_config = LLMConfig(
provider="ollama/phi3",
api_token="ollama",
api_base="http://localhost:11434/v1"
)
# 2. 构建 LLM 提取策略
strategy = LLMExtractionStrategy(
llm_config=llm_config,
schema=Product.model_json_schema(),
instruction="仅提取商品名称、标价和用户评分（0–5 分），忽略所有其他字段。",
input_format="markdown"
)
# 3. 启动爬虫并执行
async with AsyncWebCrawler() as crawler:
result = await crawler.arun(
url="https://example-shop.com/product/123",
config=CrawlerRunConfig(
extraction_strategy=strategy,
cache_mode="default",
timeout=30
)
)
print(result.extracted_content) # 输出结构化 JSON 字符串
if __name__ == "__main__":
asyncio.run(main())? 调试建议
- 启用 litellm 日志定位问题：
import litellm litellm.set_verbose = True # 输出完整请求/响应链路
- 验证 Ollama 模型是否就绪：
curl http://localhost:11434/api/tags # 应返回已拉取的模型列表
- 使用
crawl4ai-doctor检查环境兼容性（确保litellm>=1.49.0）。
总结：
LLMConfig是 Crawl4AI v0.7+ 的 LLM 配置中枢，其provider必须遵循litellm的标准命名规范，且必须作为对象传入策略类。跳过此步骤或格式错误将直接导致模型调用失败。掌握这一范式，即可无缝对接 Groq、Ollama、OpenAI、Claude 等全部 litellm 支持的后端，构建真正自主可控的 AI 数据管道。
