呀呀呼
呀呀呼
6月前 · 8 人阅读

有时在使用python爬虫爬取页面时,返回的内容是乱码的,一种行之有效的方法是利用chardet(需要使用pip安装)探测字符串的编码,再相应调整爬虫的编码方式进行解码。示例如下:

1.利用requests爬取页面内容

In [86]: import requests

In [87]: r = requests.get('http://2017.ip138.com/ic.asp')

In [88]: r.text
Out[88]: '<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<title> ÄúµÄIPµØÖ· </title>
</head>
<body style="margin:0px"><center>ÄúµÄIPÊÇ£º[XX.XX.XX.XX] À´×Ô£º±±¾©Êб±¾©ÊÐ Åô²©Ê¿¿í´ø</center></body></html>'

In [89]: r.content
Out[89]: b'<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<title> xc4xfaxb5xc4IPxb5xd8xd6xb7 </title>
</head>
<body style="margin:0px"><center>xc4xfaxb5xc4IPxcaxc7xa3xba[XX.XX.XX.XX] xc0xb4xd7xd4xa3xbaxb1xb1xbexa9xcaxd0xb1xb1xbexa9xcaxd0 xc5xf4xb2xa9xcaxbfxbfxedxb4xf8</center></body></html>'

此时可以看到,r.text的内容为乱码,r.content的内容为字节码,说明该爬虫默认的编码不能解码此页面的内容。查看爬虫的默认编码方式如下:

In [90]: r.encoding
Out[90]: 'ISO-8859-1'

2.利用chardet探测字符串编码
现在我们先探测爬取的页面的编码方式:

In [91]: import chardet

In [92]: chardet.detect(r.content)
Out[92]: {'confidence': 0.99, 'encoding': 'GB2312', 'language': 'Chinese'}  # 说明页面的编码方式为GB2312

修改爬虫的编码方式,再次查看页面内容

In [93]: r.encoding = chardet.detect(r.content)['encoding']

In [94]: r.text
Out[94]: '<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<title> 您的IP地址 </title>
</head>
<body style="margin:0px"><center>您的IP是:[XX.XX.XX.XX] 来自:北京市北京市 XX</center></body></html>'

可以看到,修改了爬虫的编码方式后,能够正确显示页面内容了。

总结:chardet是一个优秀的字符串/文件编码检测模块,能够成为爬虫的常备工具箱之一。

备注:感谢@Python雁横的提醒,使用r.encoding = r.apparent_encoding即可方便的解决问题。因为r.apparent_encoding就使用了chardet的库。如下所示:

In [41]: r.apparent_encoding?
Type:        property
String form: <property object at 0x1101bf638>
Docstring:   The apparent encoding, provided by the chardet library.
收藏 0
xx html content encoding chard
评论 ( 0 )