梦雨情殇

摘要： 春节期间通过接口爬取携程数据的时候，返回的json字符串通过json.loads加载时报错"ValueError: Invalid control character at: line 1 column 8363 (char 8362)" 出现错误的原因是字符串中包含了'\t' (tab), '\n 阅读全文

摘要： 多仓库代码部署这个问题其实在13年做配置管理的时候，就遇到过这样的问题，而最近公司可视化图项目也需要多个仓库代码需要同时下载进行编译，由于仓库之间的代码编译有依赖关系，所以必须同时下载下来按照顺序进行编译，这时候同事他们写个父工程来定义了编译，所以这个时候需要下载visualization-rest 阅读全文

摘要： 公司最近给自己的自媒体产品开发微信小程序，但是使用的后台接口需要是https服务，而之前公司使用的是阿里云的免费的HTTPS证书，蛋疼的阿里云突然把证书给下架了，突然想到之前看左耳朵耗子的一篇文章使用Certbot来实现HTTPS，这边也就考虑采用Cerbot来实现下 配置Certbot 证书 Ce 阅读全文

摘要： 安装完成Scrapy时候，终端导入Scrapy时候，发现没有任何报错，但是在运行Scrapy的项目的时候提示“import win32api ImportError: DLL load failed: 找不到指定的模块”，发现我们的win32api模块没有安装，此时我们通过pip install p 阅读全文

摘要： 爬取汽车之家数据的时候，日志中一直没有任何报错，开始一直不知道什么原因导致的，后来细细阅读了下日志发现日志提示“Forbidden by robots.txt”，Scrapy 设置文件中如果把ROBOTSTXT_OBEY设置为True的时候，会遵循robots.txt 规则进行爬虫； 这个时候我们只 阅读全文

摘要： 爬虫的过程有些网站设置反盗链，需要我们在请求头中添加下，修改settings.py文件中添加 具体的信息可以根据自己需求修改，注意这个设置是全局请求都要走这个配置； 阅读全文

摘要： 通过RPM安装Jenkins简单方便,不太需要复杂的过程，但是在安装完成以后启动Jenkins的时候提示“Starting jenkins (via systemctl): Job for jenkins.service failed because the control process exit 阅读全文

摘要： 其实python链接MySQL的方法很多，比较常用的是MySQLdb这个模块，由于自己准备往数据库里面插入一条日期数据，在格式化的日期数据的时候一直报错，所以这里简单写了一个往MySQL数据库的插入数据的demo。 其实最初操作的时候一个简单的数据插入的动作还遇到了几个常见的问题，所以在这里总结下 阅读全文

摘要： 本来是以学习的目的添加了几个QQ群，但是发现群内有着很多的小白都在咨询如何搭建环境的问题，所以我这里把自己搭建的方法分享下 1.首先我们需要查看下自己安装的python的版本; 最简单的版本就是在命令行内执行python，第一行信息就告诉你python的版本是多少，多少位的； 2.由于安装scrap 阅读全文

摘要： 1.首先下载CollabNet Subversion，目前最新版本Subversion Edge 5.2.2 (Linux 64-bit)，注意下载的时候需要注册下账号，才允许下载； 2.安装CollabNet Subversion时首先需要安装依赖JDK和python，目前服务器基本都有pytho 阅读全文