登录  /  注册
libcurl - php的curl里面在获取页面html数据的时候能指定获取的字节数吗？
PHPz
PHPz 2017-04-10 14:45:29
[PHP讨论组]
0 3 645
举报

RT
本来用的 fopen + fread($fp,读取字节数) 获取数据 SAE 不支持 就想改为curl
我只需要匹配出来title的值就行 去文件的前 800字节就ok了，curl参数众多，不知道该设置哪个。
毕竟获取整个html文件会消耗大量时间，只要前800字节就行，这样应该会节省点时间吧，我用microtime 测试出来的时间差别不大但是还是有差别的

PHPz
PHPz

学习是最好的投资！

全部回复(3)
高洛峰
高洛峰2017-04-10 14:47:29 3楼

cURL有一个range选项，计量单位是字节，可以通过如下方式来设定：

curl_setopt($ch, CURLOPT_RANGE, '0-799');

但是这个不一定管用的，它只是发送了一个请求头，具体如何返回数据还是由发送方决定的，如果发送方支持分片返回则会生效，否则还是完整返回。通过stream也可以实现，也是发送range的头信息，所以结果应该是一样的：

$context = stream_context_create(array('http' => array ('header'=> 'Range: bytes=0-799')));
$data = file_get_contents("http://example.com/file.html", FALSE, $context);

关于range header的rfc文档：http://www.w3.org/Protocols/rfc2616/rfc2616-sec14.html#sec14.35
赞 +0
添加回复
迷茫
迷茫2017-04-10 14:47:29 2楼

可以这样..不过每次读取,有可能会超过你规定的数值,判断一下就好了.

<?php

error_reporting(E_ALL);

$data = '';
$url = 'http://segmentfault.com/q/1010000000482129';

$ch = curl_init();
curl_setopt_array($ch, array(
    CURLOPT_URL => $url,
    CURLOPT_WRITEFUNCTION => 'receivePartial', 
));
curl_exec($ch);
curl_close($ch);

function receivePartial($ch, $chunk) {
    global $data;
    $data .= $chunk;

    $len = strlen($chunk);
    echo 'had receive ', $len, ' bytes', PHP_EOL;
    //判断每次读取,如果总数大于1000,就不再往下读了.
    if (strlen($data) >= 1000) {
        return -1;
    }    
    //返回值是告知CURL,是否已够了,要不要再读啦.
    return $len;
}

echo $data;
赞 +0
添加回复
高洛峰
高洛峰2017-04-10 14:47:29 1楼

根据你只想取得页面 title 的需求，使用 file_get_contents 函数是不是更合适？

$content = file_get_contents('http://www.baidu.com',  false, null, -1, 800);

if(mb_detect_encoding($content) == 'GB2312')
    $content = iconv('GB2312', 'UTF-8', $content);

preg_match("/<title>.*<\/title>/", $content, $title);
赞 +0
添加回复
专题推荐
更多>
热门话题
热门教程
更多>
相关教程
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2024 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • 精品班

  • 技术支持

  • 技术咨询

  • 学习群

  • 会员优惠

  • 返回顶部