首页 技术Python

Python

  • Python Python3使用logging模块记录日志

    之前的时候我记录日志都是自己手写,将内容写进文件,总觉得这样好low,今天在写企业微信脚本的时候,就查了下,果然有logging模块,就直接拿过来用了,百度代码如下logging.basicConfig(     level=logging.DEBUG,  # log level     format='%(asctime)s  %(filename)s ...

     薄洪涛  2019-09-16  874浏览  0评论
  • Python 常用中文编码方式对比

    最近项目中涉及到了使用python解析文件内容的需求,文件中全都是中文,由于这一过程中碰到的乱码问题实在过多,所以特地花时间研究了一下中文编码。本文中先介绍一下ASCII,GB2312,GBK和GB18030编码。之所以把这几个放在一起介绍,是因为他们的相关性非常强。兼容性关系是GB18030兼容GBK,GBK兼容GB2312,GB2312兼容ASCII。所谓兼容,你可以简单理解为子集、不冲突的关系。例如GB2312编码的文件中可以出现ASCII字符,GBK编码的文件中可以出现GB2312和ASCII字符,GB18...

     薄洪涛  2019-06-17  750浏览  0评论
  • Python python爬虫之字体反爬及解决方案

    在爬取某些网站的数据时,经常会发现爬下来的数据夹杂着乱码;但是网页上明明是正常的,这就是此网站做了字体反扒技术;比如  https://su.58.com/qztech/ 这个网站,页面上看起来是正常的数据,但是审查元素会发现,都是乱码,如果我们去除了右下角红框标注的字体文件,会发现页面也会出现乱码其实,这种字体文件,实质上就是一个字典,记载了乱码余正确数据之间的对应关系,在显示的时候,把“乱码” 替换成正确的数据其实我们要做的很简单,就是把字体文件复制下来,保存为ttf,然后需要显示...

     薄洪涛  2019-03-16  1072浏览  0评论
  • Python UnicodeDecodeError:'utf-8'编解码器无法解码字节

    我试图想把一个对象转换成json,但是一直报错json_txt = json.dumps(log_txt)UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe9 in position 2892: invalid continuation byte原因是对象中有一些乱码字符,utf-8无法解码这些...

     薄洪涛  2018-12-29  857浏览  0评论
  • Python UTC转标准时间和时间戳

    最近做解析的时候,有这么一条命令[root@qip1200 ~]# date Thu Oct 25 20:33:02 HST 2018需求是我把输出的时间和现在的时间做比较,大于5min抛出异常难点是这种格式的时间如何转换成时间戳?解决方案如下:def cst_to_str(cstTime):     tempTime = time.strptime(cstTime,...

     薄洪涛  2018-11-19  807浏览  0评论
  • Python Python之为世界贡献你的轮子

    何为轮子?我理解的就是能重复使用的一些包,类,库,,就是咱们通过pip install XX下载的包,今天学习些如何自己写一个包让别人可以使用pip下载并使用第一步,注册账号https://pypi.org/第二步,设置你的轮子信息(就是你的包的结构)wheelname     - wheelname     - __init__.py      &nb...

     薄洪涛  2018-10-30  880浏览  0评论
  • Python python爬虫第二篇之安居客

    最近考虑换个环境,打算去租个房子,但是租房信息那么多,我们能不能把它爬取下来做个统计,看看什么价位的房子最多,哪个地段的房子最便宜呢在爬取之前,请大家安装下BeautifulSoup库和requests库还有pymysql库安装方法有两种:1、cmd中pip install + 库名安装2、pycharm中File-setting-project-InterPreter,按照下图所示安装就可以了安装BeautifulSoup如果你是python3,请选择安装BeautifulSoup4解释下这几个库的作用:Requ...

     薄洪涛  2018-10-23  971浏览  1评论
  • Python python爬虫第一篇之环境的搭建

    爬虫入门知识及环境的搭建今天我们来学习下爬虫一、 什么是爬虫如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛,沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起请求,获取资源后分析并提取有用数据的程序;从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON数据/二进制数据(图片、视频)二、环境的搭建要学习爬虫,我们必须搭建python环境,这里我推荐大家使用Anaconda集成环境,因为Anaconda内置了Python环境,而且...

     薄洪涛  2018-06-25  803浏览  0评论
1