2019年3月
-
个人随笔 18年总结-----来自很菜的我
不知不觉，毕业快2年了，整个17年末到整个18年收获还是蛮大的； 1、学习了新的语言-----python，学会使用scrapy爬虫框架，学习了各种爬虫技巧； 2、有机会独立负责建行总行北京数据中心的项目，学习了防火墙和交换机配置；整个18年大部分时间都在做北数的自动化运维项目，收获还是挺大的，去了几次北数，也算是开了眼界；在这个项目中，收获最大的就是沟通能力及理解需求能力，能够快速的理解需求，然后去设计数据库，完成开发；&...
薄洪涛 2019-03-16 914浏览 0评论 -
Python python爬虫之字体反爬及解决方案
在爬取某些网站的数据时，经常会发现爬下来的数据夹杂着乱码；但是网页上明明是正常的，这就是此网站做了字体反扒技术；比如 https://su.58.com/qztech/ 这个网站，页面上看起来是正常的数据，但是审查元素会发现，都是乱码，如果我们去除了右下角红框标注的字体文件，会发现页面也会出现乱码其实，这种字体文件，实质上就是一个字典，记载了乱码余正确数据之间的对应关系，在显示的时候，把“乱码” 替换成正确的数据其实我们要做的很简单，就是把字体文件复制下来，保存为ttf,然后需要显示...
薄洪涛 2019-03-16 1138浏览 0评论 -
Linux 搭建SSH反向隧道
公司的数据库是通过端口转发来连接的，即需要ssh登录跳板机，然后通过隧道-端口转发，将数据库映射到跳板机（或者电脑本地）的某个端口，程序连接本地的端口就可以实现连接远程对的数据库；这种连接方式相比VPN来说更加安全；一般来说，我们的数据库主机都是内网机器没有公网ip，需要通过跳板机（有公网ip）去连接，就是把内网数据库的端口映射到跳板机上；准备步骤：1、假设我有两台主机，一台是主机A（必须有公网IP 用户名是usera）,一台是主机B（内网,用户名是userb）2、首先我需要在B上生成SSH秘钥ssh-keygen...
薄洪涛 2019-03-10 812浏览 0评论 -
Linux xshell做端口映射链接数据库
有些时候，公司的一些线上的数据库，数据太多，不适合复制到本地然后搭建本地数据库开发，直接链接数据库又不安全所以，需要通过xshell做端口转发，通过隧道来链接数据库1、首先通过xshell登陆跳板机2、文件属性-隧道-添加，上面的是本地的源主机及侦听端口，下面的是目标主机及目标端口；一定要勾上仅接受本地连接3、通过navicat链接，localhost/35432，输入数据库的用户名&密码，就可以直接链接啦以后会出个教程，来讲解如何搭建隧道及跳板机...
薄洪涛 2019-03-05 978浏览 0评论