Python3使用logging模块记录日志
薄洪涛5年前1158
之前的时候我记录日志都是自己手写，将内容写进文件，总觉得这样好low，今天在写企业微信脚本的时候，就查了下，果然有logging模块，就直接拿过来用了，百度代码如下logging.basicConfi...
常用中文编码方式对比
薄洪涛6年前1027
最近项目中涉及到了使用python解析文件内容的需求，文件中全都是中文，由于这一过程中碰到的乱码问题实在过多，所以特地花时间研究了一下中文编码。本文中先介绍一下ASCII，GB2312，GBK和GB1...
python爬虫之字体反爬及解决方案
薄洪涛6年前1355
在爬取某些网站的数据时，经常会发现爬下来的数据夹杂着乱码；但是网页上明明是正常的，这就是此网站做了字体反扒技术；比如 https://su.58.com/qztech/ ...
UnicodeDecodeError：'utf-8'编解码器无法解码字节
薄洪涛6年前1167
我试图想把一个对象转换成json，但是一直报错json_txt = json.dumps(log_txt)UnicodeDecodeError: 'utf-8&#...
Python之为世界贡献你的轮子
薄洪涛6年前1152
何为轮子？我理解的就是能重复使用的一些包，类，库，，就是咱们通过pip install XX下载的包，今天学习些如何自己写一个包让别人可以使用pip下载并使用第一步，注册账号https://pypi....
python爬虫第二篇之安居客
薄洪涛6年前1284
最近考虑换个环境，打算去租个房子，但是租房信息那么多，我们能不能把它爬取下来做个统计，看看什么价位的房子最多，哪个地段的房子最便宜呢在爬取之前，请大家安装下BeautifulSoup库和request...
python爬虫第一篇之环境的搭建
薄洪涛7年前1088
爬虫入门知识及环境的搭建今天我们来学习下爬虫一、 什么是爬虫如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是...