{
    分享网正式开通,我们为大家提供免费资源,欢迎大家踊跃投稿!

PHP采集HTML后中文乱码 转换编码为UTF-8的方法

HTML字符集是CP936转UTF-8,GB2312转UTF-8,GBK转UTF-8,PHP采集HTML后中文乱码,转换编码为UTF-8的方法

这个任务最初是使用QueryList插件来采集分析页面的,但是后来发现采集入库的数据中有乱码,查看分析了一下,全部是源页面字符集为非utf-8的页面,那么就利用QueryList自有的方法来转码。


$result = $ql->get('http://'.$url, null, $options)
                ->rules($rules)
                ->encoding('UTF-8','GB2312')
                ->removeHead()
                ->query()
                ->getData();
 

QueryList官方文档 中介绍,使用encoding('UTF-8','GB2312')方法可以解决,但是实际情况是页面字符集多种多样,刚才测试了三个网站三种编码,CP936,EUC-CN,GBK,真是玩死朕了。那么官方还说如果还是不能解决乱码问题就把removeHead()函数也挂上,没挂之前我感觉它应该是不好使,那也要试一下才能真正的确定啊,试了一下,结果确实还是乱码。

QueryList有时有点诡异,采集时有时会缺内容,不知所以然。

此路不通,只能另寻他途。

思路就是,采集部分就不使用QueryList,使用自己写的Curl吧,之后分析编码,转码,再交给QueryList去分析HTML,再提取相关数据。

下面是各种字符集转为UTF-8编码的函数:


 
        function htmlConvertEncode($html, $charset='UTF-8')
        {
                // 检测编码
                $encode = mb_detect_encoding($html, array("ASCII","UTF-8","GB2312","GBK","CP936","BIG5","EUC-CN"));
                // 转码
                if($encode != $charset){
                        return mb_convert_encoding($html, 'UTF-8', $encode);
                }
                // 返回字符集
                if($charset === true){
                        return $encode;
                }
                return $html;
        }
 
资源均来自第三方,谨慎下载,前往第三方网站下载


米微资源分享网 , 版权所有丨本站资源仅限于学习研究,严禁从事商业或者非法活动!丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:PHP采集HTML后中文乱码 转换编码为UTF-8的方法
喜欢 ()分享 (0)