php - 爬虫的参数问题

Question

现在再做一个爬虫，但是有一个问题，通过浏览器的开发工具找到了请求，但是模拟传入POST总是不对，这是这个请求的参数

主要是想请教一下query string parameters和formdata，这两个参数有什么区别，之前做的爬虫参数都在formdata里，直接按照格式提交参数就成功了，也就没有太在意，但是今天这个页面的爬虫时总是不成功，不是很明白为什么，请有经验的大神指点一二

Answer 1

query string parameters是GET请求，formdata则POST请求。　请求的时候有点差别，比如:

#对GET:
url = 'http://www.example.com
data ={
    a: b,
}
get_url = url + urllib.urlencode(data)
urllib2.urlopen(urllib2.Request(get_url)

#对于POST
url = 'http://www.example.com
data={
    a: b
}
urllib2.urllopen(urllib2.Request(url, data=data)

# 对于GET+POST的，　直接把POST的url　改为 urlencode之后的，即可

Answer 2

p值是加密的

Answer 3

query param是url中的概念，form data是http中的格式概念，http使用url，so。

Answer 4

写爬虫的童鞋可以试试神箭手云爬虫，自带JS渲染、代理ip、验证码识别等功能，还可以发布和导出爬取的数据，生成图表等，都在云端进行，不需要安装开发环境。