2018年11月14日
爬虫进阶之多线程爬虫
摘要： 有些时候，比如下载图片，因为下载图片是一个耗时的操作。如果采用之前那种同步的方式下载。那效率肯会特别慢。这时候我们就可以考虑使用多线程的方式来下载图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 最简单的比喻多线 阅读全文
posted @ 2018-11-14 09:47 chen~先生 阅读(10491) 评论(0) 推荐(1) 编辑
数据存储之使用MongoDB数据库存储数据
摘要： 安装MongoDB环境： 1.官网下载：https://www.mongodb.com/download-center#community 2.MongoDB可视化工具compass下载https://www.mongodb.com/download-center#compass 笔记 安装Mong 阅读全文
posted @ 2018-11-14 09:37 chen~先生 阅读(909) 评论(0) 推荐(0) 编辑
数据存储之使用mysql数据库存储数据
摘要： 推荐安装mysql5.7环境： 官网下载：https://dev.mysql.com/downloads/installer/5.7.html 如果提示没有.NET Framework框架。那么就在提示框中找到下载链接，下载一个就可以了。 如果提示没有Microsoft Virtual C++ x6 阅读全文
posted @ 2018-11-14 09:35 chen~先生 阅读(900) 评论(0) 推荐(0) 编辑
数据存储之json文件处理和csv文件处理
摘要： 什么是json： JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换 阅读全文
posted @ 2018-11-14 09:26 chen~先生 阅读(1862) 评论(0) 推荐(0) 编辑
2018年10月24日
python使用PyQt5，及QtCreator，qt-unified界面设计以及逻辑实现
摘要： 1.环境安装： 1.安装pyQt5 pip3 install pyQt5 2.安装设计器 pip3 install pyQt5-tools (英文版的) 我是用的是自己Windows上安装的qt-unified软件 3.qt-unified安装，下载地址 https://www.qt.io/ 2.q 阅读全文
posted @ 2018-10-24 16:40 chen~先生 阅读(12662) 评论(1) 推荐(2) 编辑
2018年10月23日
Tesseract-ocr视觉学习-验证码识别及python import pytesseract使用
摘要： Tesseract-OCR的简单使用与训练 最近看到某个网站提交数据要提交验证码，用tesseract自带的识别， 识别出来是什么鬼，0-9识别成了什么玩意！ so决定自己训练下tesseract... 1.准备工作（安装工具环境） 1.下载安装tesseract-ocr-setup-3.02.02 阅读全文
posted @ 2018-10-23 15:40 chen~先生 阅读(3252) 评论(0) 推荐(0) 编辑
2018年10月17日
ubuntu crontab设置定时任务
摘要： ubuntu 设置定时任务 crontab -l #查看详情crontab -e #设置定时任务 * * * * * command 分　时　日　月　周　命令 第1列表示分钟1～59 每分钟用*或者 */1表示 第2列表示小时1～23（0表示0点） 第3列表示日期1～31 第4列表示月份1～12 第 阅读全文
posted @ 2018-10-17 09:43 chen~先生 阅读(2633) 评论(0) 推荐(0) 编辑
2018年10月15日
nginx+django线上部署
摘要： （一）：背景在线 由于现在工作的需要，我需要使用Python来进行一个网站后台的开发，python之前接触过其语法的学习，基本的东西已经掌握，但是当时自学的时候是学得python3.5，而现在要使用python2.7进行实现，所以，先不管了，大多是一样的，有部分是不一样的，慢慢搞吧． （二）：编程环 阅读全文
posted @ 2018-10-15 16:25 chen~先生 阅读(2670) 评论(0) 推荐(0) 编辑
2018年9月14日
PHP网站从Apache转移到Nginx后产生404错误的原因和解决办法
摘要： 这是转载的别人的解决方法： 原案例分析： 1、原来的网站在wamp环境下搭建完成，一切正常，上传到虚拟主机环境为lnmp，结果访问时可以打开主页，然后点其他页面全部报404错误； 2、经分析得出原因：原网站环境为wamp使用了伪静态，伪静态规则写在网站根目录的.htaccess文件中，Apache下 阅读全文
posted @ 2018-09-14 16:35 chen~先生 阅读(1015) 评论(0) 推荐(0) 编辑
2018年9月12日
收集的免费API接口
摘要： 1.IP地址调用接口 这是淘宝的IP调用API 返回值：{"code":0,"data":{"ip":"218.75.78.226","country":"中国","area":"","region":"浙江","city":"杭州","county":"XX","isp":"电信&quo 阅读全文
posted @ 2018-09-12 15:05 chen~先生 阅读(10050) 评论(0) 推荐(1) 编辑