搜索
博主信息
博文 20
粉丝 0
评论 0
访问量 23373
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
PHP判断是不是爬虫的方法
大鱼
原创
1406人浏览过

这个一般用于防止爬虫 和 seo优化(因为爬虫都是按照第一次打开显示的页面 有些ajax 等需要点击才能显示的就爬不到啦)<?php// 判断是否搜索引擎机器人访问function isRobot() {
   $agent= strtolower(isset($_SERVER['HTTP_USER_AGENT'])? $_SERVER['HTTP_USER_AGENT'] : '');
   if(!empty($agent)){
       $spiderSite= array(
           "TencentTraveler",
           "Baiduspider+",
           "BaiduGame",
           "Googlebot",
           "msnbot",
           "Sosospider+",
           "Sogou web spider",
           "ia_archiver",
           "Yahoo! Slurp",
           "YoudaoBot",
           "Yahoo Slurp",
           "MSNBot",
           "Java (Often spam bot)",
           "BaiDuSpider",
           "Voila",
           "Yandex bot",
           "BSpider",
           "twiceler",
           "Sogou Spider",
           "Speedy Spider",
           "Google AdSense",
           "Heritrix",
           "Python-urllib",
           "Alexa (IA Archiver)",
           "Ask",
           "Exabot",
           "Custo",
           "OutfoxBot/YodaoBot",
           "yacy",
           "SurveyBot",
           "legs",
           "lwp-trivial",
           "Nutch",
           "StackRambler",
           "The web archive (IA Archiver)",
           "Perl tool",
           "MJ12bot",
           "Netcraft",
           "MSIECrawler",
           "WGet tools",
           "larbin",
           "Fish search",
       );
       foreach($spiderSite as $val){
           $str = strtolower($val);
           if(strpos($agent, $str) !== false){
               return true;
           }
       }
   }

   return false;}if(isRobot()){
   echo'爬虫';}else{
   echo'不是爬虫';}?>

出自:http://newmiracle.cn/?paged=5&cat=3

本博文版权归博主所有,转载请注明地址!如有侵权、违法,请联系admin@php.cn举报处理!
全部评论 文明上网理性发言,请遵守新闻评论服务协议
0条评论
作者最新博文
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • 登录PHP中文网,和优秀的人一起学习!
    全站2000+教程免费学