python爬虫 - Python 爬取网页，？

Question

想爬去今日头条这个网页中的数据，发现Post数据

有一些变量是没有变化的，有一些是在变化的，一直找不到变化的规律，想请指教一下？能看出来是怎么变化的么？max_behost_time =str(time.time())[0:12]

max_create_time= float(str(time.time())[0:12])+552
max_time=float(str(time.time())[0:12])+1162
这是我找到的规律，但是不对

Answer 1

和time没有必然联系

从字面上看，max_create_time指定了一个边界条件，即我将获取的下一组数据的创建时间的最大值。根据其业务逻辑，max_create_time的值应该是当前列表的所有项中创建时间的最小值。

至于max_behot_time，从字面上看不出，应该和另一个列表有关。

_这个参数无实义，目的是防止浏览器缓存。

Answer 2

你去看看它的js代码，这些值有可能是通过ajax获取，也有可能是根据一定的规则生成，无论如何，一定与js有关。

Answer 3

首先你应该从开始找起，就在首页的时候，第一次请求是这样的:没有max_create_time:

然后这个请求返回的结果：你会发现点东西:

再看第二次请求的参数：知道了吧：max_behot_time这个值就是存在上一次返回结果中：

至于max_create_time你自己在试试～～～

Answer 4

能不能建立个群讨论一下啊？我也有这个需求