博主信息
鸢公子
博文
1
粉丝
0
评论
1
访问量
142
积分:0
P豆:2

【面试题】高级爬虫面试测试题 v1.3

2021年10月12日 17:41:34阅读数:142博客 / 鸢公子

Python Web高级爬虫工程师测试题
(请本文件发送到: SpiderTestQuestion@163.com 并附带简历)

1、 用yield写一个斐波那契数列的生成器函数。

2、 放一段scrapy项目parse函数的代码(解析列表页,使用分组提取,解析字段)。

3、 遇到过哪些反爬策略,如果突破?

4、 scrapy各个模块启动顺序(Spider, Middleware, Pipeline的加载、实例化、Open、Close的顺序)。

5、 使用过哪些抓包工具,各有什么优点。

6、 有没有自己博客,贴一下网址。

7、 字体加密反爬机制及分类。

8、 遇到过那些验证码,怎么突破的,不使用打码平台有办法吗?

9、 简述了解的采集任务管理平台,有何不同,有修改过源码吗?

10、 遇到过哪些难度大的网站,卡在哪了,认为反爬的天花板网站/软件有哪些。

11、 selenium/splash/puppeteer(谷歌)/playwright(微软)/web scraper(插件) 优劣势。

12、 js/小程序/apk的Hook 原理。

13、 遇到过那些防御系统,极验验证码/易盾/观镜防御系统反爬策略优劣。

14、 简述绕过小程序动态调试中用户验证的方式。

15、 还有哪些问题是没问到的,又是自己的优势优点,可自行作答

附件:高级爬虫面试测试题 v1.3

版权申明:本博文版权归博主所有,转载请注明地址!如有侵权、违法,请联系admin@php.cn举报处理!

全部评论

文明上网理性发言,请遵守新闻评论服务协议

条评论
鸢公子
  • 鸢公子· 2021-10-15 15:01:281楼
  • 走过路过别错过,现在正在做汇总,有什么想法畅所欲言,每一个想法我都会回复的! (点赞收藏评论后可以快速找到这里)

  • 回复
  • 之前多看看有关公司的资料,对之后的会很有帮助。今天就给大家带来2021年小米 PHP 工程师(模拟考卷),有着一定的参考价值,现在分享给大家,希望能帮助到大家!
    本篇文章给大家分享22道 React ,大家可以熟记下来。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。
    本篇文章给大家分享15个Vue.js。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。
    前端开发中中CSS一直是重点考核的,本文汇总了最新的CSS,包括CSS基础,CSS中,搞定这些,你的也就成功了一半!
    如果你正在寻找PHP开发的工作,那么提前掌握最新的PHP技巧,必然能使你在求职过程中事半功倍。
    今天php中文网为同学们总结了一些redis中常被问到的问,除了这些redis常见,我们还整理了一些2021年最新的redis,欢迎学习,掌握这些,就可以吊打官啦!
    目前大前端开发越来越吃香,如果你想从事大前端开发,javascript要求必学必会,所以php中文网作为知名编程学习网站,为您整理了2021年最全的js,包含js基础、js以及js
    本篇文章给大家分享50个必须掌握的Angular,会从初学者-中-三个部分来解析这50个,带大家吃透它们!
    1.如何对 Android 应用进行性能分析;2.什么情况下会导致内存泄露;3.如何避免 OOM 异常;4.Android 中如何捕获未捕获的异常...
    现如今移动互联网发展迅速,Android开发领域的就业岗位需求也是越大,那么对于安卓开发者来说,机会有了,实力必然不可或缺,本文汇总了最新Android、包括android初、android
    1、java中==和equals和hashCode的区别 ; 2、int与integer的区别 ; 3、String、StringBuffer、StringBuilder区别 ; 4、什么是内部类?内部类的作用 ; 5、进程和线程的区别..
    1.谈谈你在写sql语句需要注意有哪些点?2.你刚才一直在提索引,把你知道的关于索引的一些技巧说下?3.索引底层是什么数据结构?4.为什么用的是B+树,不能使用红黑树或者其他的?5.你知道索引下推吗?
    本篇文章给大家分享关于PHP垃圾回收机制的,并带大家深入了解一下PHP垃圾回收机制。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。