微博前端依赖JS渲染，直接HTTP请求仅获空骨架；需用chromedp等工具模拟浏览器并绕过反爬，入库前须处理emoji和HTML实体，非登录态无法抓私密内容，推荐走官方API。
为什么直接请求微博网页会返回空内容
微博前端大量依赖 JavaScript 渲染，http.Get 或 net/http 默认请求拿到的 HTML 里几乎不含微博正文，只有骨架和一堆 div id="app" 占位符。这不是代码写错了，是服务端做了 SSR 降级或直接返回了客户端渲染模板。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 先用浏览器打开目标微博页面（如
https://weibo.com/1729370547/LmXKq0D8v），禁用 JS 后刷新——如果空白，就确认必须走渲染方案 - 不要硬啃
curl+ 正则，优先考虑 Puppeteer（Go 封装版如chromedp）或真实浏览器驱动 - 若只是抓公开主页（如超话、博主首页），部分接口仍可直调，但需逆向
https://weibo.com/ajax/statuses/mymblog类路径，且带X-XSRF-TOKEN和登录态 Cookie
chromedp 能否稳定抓取微博动态列表
可以，但默认配置下极易被识别为自动化工具而触发滑块验证或 412 响应。微博对 User-Agent、navigator.webdriver、字体枚举、Canvas 指纹等有密集检测。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 启动 Chrome 时务必加参数：
--disable-blink-features=AutomationControlled，并在页面加载后执行navigator.webdriver = false - 避免使用
chromedp.Sleep等固定等待，改用chromedp.WaitVisible或监听network.ResponseReceived事件判断数据加载完成 - 微博卡片 DOM 结构嵌套深，推荐用
chromedp.Query(`[node-type="feed_list"] .card-feed`, &nodes)定位主容器，再逐层提取data-url、nick-name、content等属性
如何把抓到的微博存进 SQLite 而不丢字段或乱码
微博正文含 emoji、换行、HTML 实体（如 ），直接 INSERT 可能报 SQLITE_ERROR: malformed UTF-8 character 或字段截断。
实操建议：
立即学习“go语言免费学习笔记（深入）”；
- 入库前统一做清理：
strings.ReplaceAll(text, "\u00a0", " ")替换不间断空格，html.UnescapeString()解码 HTML 实体，strings.TrimSpace()去首尾空白 - SQLite 表字段声明用
TEXT即可，但连接时需显式设置_loc=auto参数（如file:weibo.db?_loc=auto），否则 Windows 下可能因系统 locale 导致 emoji 存为 ? - 每条微博建议至少存：
mid（微博唯一 ID）、user_id、content、created_at（字符串或 Unix 时间戳）、reposts_count、comments_count、attitudes_count
绕过登录限制抓取非公开微博是否可行
不可行。非登录态下，微博对非关注用户的主页、私密超话、带“仅好友可见”标识的微博均返回 403 或空数据。模拟登录虽技术上可实现（抓包获取 SSOLoginState、维护 Cookie Jar），但存在明确风险：
- 微博服务端校验
gsid、sub、ALF多个 token 的时效性与绑定关系，单靠 Cookie 复用撑不过 2 小时 - 频繁请求触发图形验证码后，Go 目前无成熟 OCR 库能稳定识别微博的扭曲+干扰线+汉字验证码
- 《微博开发者协议》明文禁止未授权爬取，IP 封禁阈值低（实测连续 5 次失败请求即限流）
真正可用的路只有一条：申请微博开放平台认证应用，走 statuses/user_timeline 等官方 API，哪怕限流严格（15 分钟 180 次），至少字段完整、格式标准、不被封。
