首页 > 后端开发 > Python教程 > 正文

python爬虫要学什么

原创 2019-05-22 13:33:53 0 819
赞助会员专享特权
爬虫,被称为网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本,主要用于搜索引擎,它将一个网站的所有内容与链接进行阅读,并建立相关的全文索引到数据库中,然后跳到另一个网站。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,再不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

学习之前的准备

1、一颗热爱学习

2、不屈不挠的心一台有键盘的电脑(什么系统都行。我用的os x,所以例子会以这个为准)

3、html相关的一些前段知识。不需要精通,能懂一点就够!Python的基础语法知识 。

具体的学习路线

总体分为三个大方面:

1、简单的定向脚本爬虫(request --- bs4 --- re)

2、大型框架式爬虫(Scrapy框架为主)

3、浏览器模拟爬虫 (Mechanize模拟 和 Selenium 模拟)

具体步骤:

1、Beautiful Soup

requests库的安装与使用,安装beautiful soup 爬虫环境,beautiful soup 的解析器,re库 正则表达式的使用,bs4 爬虫实践。获取百度贴吧的内容bs4 爬虫实践,获取双色球中奖信息bs4 爬虫实践, 获取起点小说信息bs4 爬虫实践,获取电影信息bs4 爬虫实践。 获取悦音台榜单

2、Scrapy 爬虫框架

安装Scrapy,Scrapy中的选择器 Xpath和CSSScrapy 爬虫实践,今日影视Scrapy 爬虫实践,天气预报Scrapy 爬虫实践,获取代理Scrapy 爬虫实践,糗事百科Scrapy 爬虫实践, 爬虫相关攻防(代理池相关)

3、浏览器模拟爬虫

Mechanize模块的安装与使用,利用Mechanize获取乐音台公告,Selenium模块的安装与使用,浏览器的选择 PhantomJS,Selenium & PhantomJS 实践,获取代理;Selenium & PhantomJS 实践,漫画爬虫。

以上就是python爬虫要学什么的详细内容,更多请关注php中文网其它相关文章!

php中文网最新课程二维码
  • 相关标签:爬虫
  • 本文原创发布php中文网 ,转载请注明出处,感谢您的尊重!
  • 相关文章


  • python爬虫入门学习什么
  • Python爬虫基础之网页组成解析
  • python爬虫什么意思
  • python爬虫要学什么
  • 网友评论

    文明上网理性发言,请遵守 新闻评论服务协议

    我要评论
    独孤九贱(5)_ThinkPHP5视频教程

    独孤九贱(5)_ThinkPHP5视频教程

    ThinkPHP是国内最流行的中文PHP开发框架,也是您Web项目的最佳选择。《php.cn独孤九贱(5)-ThinkPHP5视频教程》课程以ThinkPHP5最新版本为例,从最基本的框架常识开始,将...

    独孤九贱(4)_PHP视频教程

    独孤九贱(4)_PHP视频教程

    江湖传言:PHP是世界上最好的编程语言。真的是这样吗?这个梗究竟是从哪来的?学会本课程,你就会明白了。 PHP中文网出品的PHP入门系统教学视频,完全从初学者的角度出发,绝不玩虚的,一切以实用、有用...

    独孤九贱(1)_HTML5视频教程

    独孤九贱(1)_HTML5视频教程

    《php.cn原创html5视频教程》课程特色:php中文网原创幽默段子系列课程,以恶搞,段子为主题风格的php视频教程!轻松的教学风格,简短的教学模式,让同学们在不知不觉中,学会了HTML知识。 ...

    ThinkPHP5实战之[教学管理系统]

    ThinkPHP5实战之[教学管理系统]

    本套教程,以一个真实的学校教学管理系统为案例,手把手教会您如何在一张白纸上,从零开始,一步一步的用ThinkPHP5框架快速开发出一个商业项目。

    PHP入门视频教程之一周学会PHP

    PHP入门视频教程之一周学会PHP

    所有计算机语言的学习都要从基础开始,《PHP入门视频教程之一周学会PHP》不仅是PHP的基础部分更主要的是PHP语言的核心技术,是学习PHP必须掌握的内容,任何PHP项目的实现都离不开这部分的内容,通...

    作者信息

    silencement

    认证0级讲师

    最近文章
    小型网站优化思路 311
    Python如何连接MySQL 336
    在macOS上如何安装pip 470

    相关视频教程

  • Python 基础入门教程 Python 基础入门教程
  • Python实战爬虫视频教程 Python实战爬虫视频教程
  • Python Scrapy 网络爬虫实战视频教程 Python Scrapy 网络爬虫实战视频教程
  • 相关视频章节