扫码关注官方订阅号
小伙看你根骨奇佳，潜力无限，来学PHP伐。
爬虫的原理是从一个起始种子链接开始，发http请求这个链接，得到该链接中的内容，然后大多使用正则匹配出页面里面的有效链接，然后将这些链接保存到待访问队列中，等待爬取线程取这个待访队列，一旦链接访问过了，为了有效的减少不必要的网络请求，我们应该把访问过的链接放到一个已访问map中，已防止重复抓取及死循环。我以上提到的过程可能是一个比较简单的爬虫实现，复杂的可能不会这么简单，但这里面有几个概念，一个是发http请求，一个是正则匹配你感兴趣的链接，一个是多线程，另外还有两个队列，理论上，任何能实现这么些概念的编程语言去写爬虫都是可以的，期间取舍还是看自己对熟练成都。
种子链接
http请求
正则匹配
有效链接
爬取线程
已访问map
多线程
两个队列
先看看这个如何入门 Python 爬虫？
PHP也是可以写爬虫的：https://github.com/search?l=PHP&o=desc&q=spider&ref=searchresults&s=stars&type=Repositories&utf8=%E2%9C%93
爬虫的原理都是HTTP请求和应答，底层基于TCP/IP协议。 PHP也可以写爬虫，不过Python写起来更方便，内置很多模块可以直接使用。
看这里哪种语言合适写爬虫程序 另外推荐一本书webbots spiders 和 screen scrapers,主要讲php的爬虫
webbots spiders 和 screen scrapers
不管php还是python都可以写爬虫。 原理： 获取整个网页,然后用正则匹配出自己需要的内容 大概原理就是这样
python比php多了多线程 多进程 现有的python scrapy框架专门为爬虫设计的 据说很厉害。。http://jinri.info 我自己的网站 python爬的信息
php有curl和simple xml，完全可以做到获取网页之后解析dom树。
但是php不方便做多线程，需要三方扩展，可能会麻烦一些。当然你也可以用单线程，慢一点就是了。
可以看看这个，感觉写的很好：https://segmentfault.com/a/1190000005105528
关注这个博客很久了，写的爬虫教程很多，关键是教程好细致，特色适合初学者 推荐给你看看
youmumzcs的专栏 http://blog.csdn.net/youmumzc...
用javascript也可以写爬虫 在云端编写和执行 源码地址：https://github.com/ShenJianSh...
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
0 
9
913
收藏
爬虫的原理是从一个起始
种子链接开始，发http请求这个链接，得到该链接中的内容，然后大多使用正则匹配出页面里面的有效链接，然后将这些链接保存到待访问队列中，等待爬取线程取这个待访队列，一旦链接访问过了，为了有效的减少不必要的网络请求，我们应该把访问过的链接放到一个已访问map中，已防止重复抓取及死循环。我以上提到的过程可能是一个比较简单的爬虫实现，复杂的可能不会这么简单，但这里面有几个概念，一个是发http请求，一个是正则匹配你感兴趣的链接，一个是多线程，另外还有两个队列，理论上，任何能实现这么些概念的编程语言去写爬虫都是可以的，期间取舍还是看自己对熟练成都。先看看这个如何入门 Python 爬虫？
PHP也是可以写爬虫的：https://github.com/search?l=PHP&o=desc&q=spider&ref=searchresults&s=stars&type=Repositories&utf8=%E2%9C%93
爬虫的原理都是HTTP请求和应答，底层基于TCP/IP协议。
PHP也可以写爬虫，不过Python写起来更方便，内置很多模块可以直接使用。
看这里哪种语言合适写爬虫程序
另外推荐一本书
webbots spiders 和 screen scrapers,主要讲php的爬虫不管php还是python都可以写爬虫。
原理：
获取整个网页,然后用正则匹配出自己需要的内容
大概原理就是这样
python比php多了多线程 多进程
现有的python scrapy框架专门为爬虫设计的 据说很厉害。。
http://jinri.info 我自己的网站 python爬的信息
php有curl和simple xml，完全可以做到获取网页之后解析dom树。
但是php不方便做多线程，需要三方扩展，可能会麻烦一些。当然你也可以用单线程，慢一点就是了。
可以看看这个，感觉写的很好：https://segmentfault.com/a/1190000005105528
关注这个博客很久了，写的爬虫教程很多，关键是教程好细致，特色适合初学者
推荐给你看看
youmumzcs的专栏
http://blog.csdn.net/youmumzc...
用javascript也可以写爬虫 在云端编写和执行 源码地址：
https://github.com/ShenJianSh...