python - 关于豆瓣爬虫在ubuntu系统与windows上不同的问题。

Answer 1

import requests
import httplib

httplib.HTTPConnecttion.debuglevel=1

r = requests.get("http://movie.douban.com/subject/24751756/")
print r.text

在我的机器下(OS X)跑，也是403，

由send的header头里面可以看出来User-Agent是python-requests，所以把User-Agent改成

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_1) AppleWebKi \
                    t/537.36 (KHTML, like Gecko) Chrome/47.0.2526.73 Safari/537.36'
}

r = requests.get("http://movie.douban.com/subject/24751756/"， headers=headers)

再次请求就成功了。

试着用httplib打印出调试信息，对比下两个平台的发送请求的数据是否一样