彻底解决Python3写爬虫或网站时的乱码问题

概述第一次写贴子，文笔差，写的不清楚的地方请见谅 很多玩Python3的都会遇到编码问题，如果直接去处理未知编码的网页，不是utf8格式会出现乱码，下面介绍一种将未知编码的字串转换为utf8来避免乱码的方法， 在很多Python编码转换的场景中都可以使用 自己写的爬虫里提取的部分： #请求网页并转网页编码def getHtmlAndDealCode(url): #html=request

第一次写贴子，文笔差，写的不清楚的地方请见谅

很多玩python3的都会遇到编码问题，如果直接去处理未知编码的网页，不是utf8格式会出现乱码，下面介绍一种将未知编码的字串转换为utf8来避免乱码的方法，

在很多Python编码转换的场景中都可以使用

自己写的爬虫里提取的部分：

#请求网页并转网页编码def getHTMLAndDealCode(url):    #HTML=requests.get(url,verify=False)    HTML = s.get(url,headers=header)    code=HTML.enCoding    HTML=HTML.text    HTML=HTML.encode(code)    HTML=HTML.decode(‘utf-8‘)    parser = ‘HTML.parser‘    soup = BeautifulSoup(HTML,parser)    return soup

原理就是通过 enCoding 得到字串编码 再通过encode解这种编码，decode(‘utf-8‘)将编码转换为utf8编码，然后就可以进行后面的处理了

是不是简单又实用啊

总结

以上是内存溢出为你收集整理的彻底解决Python3写爬虫或网站时的乱码问题全部内容，希望文章能够帮你解决彻底解决Python3写爬虫或网站时的乱码问题所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。