上一页 1 2 3 4 5 6 ··· 17 下一页
2019年3月28日
aiohttp笔记
摘要： [TOC] 简介 aiohttp需要python3.5.3以及更高的版本，它不但能做客户端爬虫，也能做服务器端，利用asyncio，协程，十分高效 "官方文档" 采集模板 一批，一次性采集 动态添加任务 动态添加任务，封装成类 阅读全文
posted @ 2019-03-28 15:34 happy_codes 阅读(623) 评论(0) 推荐(0) 编辑
python线程池ThreadPoolExecutor用法
摘要： 线程池，进程池 python的多线程并不是完全鸡肋的存在，得分情况来看。在IO密集型任务下，能提高多倍效率。在CPU密集型任务下，使用多进程也能规避GIL锁。 python3标准库 比原Thread封装更高，多线程 ，多进程 利用 来进行各种便捷的数据交互，包括处理异常，都在result()中再次抛 阅读全文
posted @ 2019-03-28 13:54 happy_codes 阅读(6262) 评论(0) 推荐(0) 编辑
学习笔记目录
摘要： [TOC] 简介 python写的程序多了，发现很多方法，很多小工具可以复用，记录起来,做成目录，或者直接贴代码 一、python内置 单例模式 日志模块(Logging) "Logging" 装饰器 计时装饰器 上下文管理器(Context Managers) "上下文管理器" 多线程 "Thre 阅读全文
posted @ 2019-03-28 11:38 happy_codes 阅读(371) 评论(0) 推荐(0) 编辑
docker-redis笔记
摘要： 安装docker docker拉取redis镜像 docker pull redis 运行redis docker run -d --name redis-server -p 6379:6379 redis --requirepass "xxxxxx" --appendonly yes --name 阅读全文
posted @ 2019-03-28 09:53 happy_codes 阅读(266) 评论(0) 推荐(0) 编辑
2019年3月18日
selenium + chrome 被检测，反反爬小记
摘要： selenium + chrome 很多难以采集的网站都使用selenium爬取，但是后来发现selenium有特征值，会被检测出来，今天来小结一下反反爬方案 测试网站 全绿好像代表没被检测出 中间人修改js 网上很多都是这种博客，不知道靠不靠谱 pyppeteer 这种python的异步请求库，似 阅读全文
posted @ 2019-03-18 15:57 happy_codes 阅读(5947) 评论(1) 推荐(1) 编辑
2019年3月12日
深入理解协程
摘要： 学习于 "理解协程原理" "协程的使用" 阅读全文
posted @ 2019-03-12 17:47 happy_codes 阅读(162) 评论(0) 推荐(0) 编辑
2019年3月8日
docker-compose 部署 selenium-grid
摘要： 上篇：详细介绍selenium-grid 一、安装Docker 必须要使用docker-ce版(注意)，不要装错，装错了卸载并换源，ubuntu和Centos7不一样，就不细说了，官方教程 二、安装Docker-Compose库 环境 需要python2.7或python3其余版本没试过 CentO 阅读全文
posted @ 2019-03-08 17:37 happy_codes 阅读(1154) 评论(0) 推荐(0) 编辑
2019年2月28日
python3 + selenium + (chrome and firefox)使用
摘要： [TOC] 瞎扯一句 最近在做一个关于 selenium 相关的项目，在选择浏览器方面，一般有3种方案： 1. chrome 2. phantomJs 3. firefox(推荐) 网上有很多教程是关于PhantomJS的，可是，在2018.3.4日，git开源项目上，ariya宣布暂停更新，具体时 阅读全文
posted @ 2019-02-28 15:05 happy_codes 阅读(902) 评论(0) 推荐(0) 编辑
2019年2月20日
ubuntu安装Docker并部署selenium-grid
摘要： 一、docker安装 Ubuntu 1.检查内核版本大于3.10 unama -a 2.更新apt源 sudo apt-get update 3.安装docker sudo apt-get install -y docker.io 4.(建议)更新成国内源 为了永久性保留更改，您可以修改 /etc/ 阅读全文
posted @ 2019-02-20 16:27 happy_codes 阅读(949) 评论(0) 推荐(0) 编辑
2019年2月14日
通过pymysql程序debug学习数据库事务、隔离级别
摘要： 问题 今天在使用pymysql连数据库的时候，出现了一个bug，查询数据库某个数据，但是在我在数据库中执行sql语句改变数据后，pymsql的查询依然没有发生改变。 代码如下: 解决问题 首先，我们还是找出问题原因，并解决它，查阅相关文档后可知，因为我们的查询语句执行后，没有 ，这会导致查询事务没有 阅读全文
posted @ 2019-02-14 15:51 happy_codes 阅读(629) 评论(0) 推荐(0) 编辑
2019年1月30日
python3-requests库的使用
摘要： 同步请求库requests用来做测试和简单爬虫其实非常好用的，今天来讲一讲，毕竟不熟悉就用，吃了很大亏啊，文档一定要好好看 http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 一、最简单常用的用法 GET请求 POST请 阅读全文
posted @ 2019-01-30 10:21 happy_codes 阅读(270) 评论(0) 推荐(0) 编辑
2019年1月29日
windows同时安装python3和python2
摘要： 一、下载，安装python3和python2 地址：https://www.python.org/downloads/windows/ 可以点选latest：2.7和3.7 1.下载安装python3 下载完msi文件后，安装，python3可以，点击勾选 add python3.6 to path 阅读全文
posted @ 2019-01-29 15:25 happy_codes 阅读(216) 评论(0) 推荐(0) 编辑
2019年1月23日
Scrapy使用详细记录
摘要： 这几天，又用到了scrapy框架写爬虫，感觉忘得差不多了，虽然保存了书签，但有些东西，还是多写写才好啊 首先，官方而经典的的开发手册那是需要的： https://doc.scrapy.org/en/latest/intro/tutorial.html 一、创建项目 命令行cd到合适的目录： 就新建了 阅读全文
posted @ 2019-01-23 14:45 happy_codes 阅读(994) 评论(0) 推荐(0) 编辑
2019年1月20日
Docker的基本使用(部署python项目)
摘要： 今天开始利用docker来部署项目，当然，首先，需要安装好Docker，这个在我的上篇写了。 一、准备项目 我写的是一个爬取某ppt网站的代码，就一个ppt1.py是爬虫，然后，ppts是存放下载的ppt的 二、准备requirement.txt文件 这个是需要哪些python库支持，写好 三、准备 阅读全文
posted @ 2019-01-20 21:01 happy_codes 阅读(14673) 评论(3) 推荐(0) 编辑
2019年1月16日
Docker的初体验
摘要： 这几天捣鼓了一下docker，是真的麻烦啊，网上资料比较杂乱，也很多英文，学起来挺多问题的 Docker下载 win10专业版： 开启Hyper-V，下载并安装 docker-for-windows(但是我的电脑用这个装一直有问题。。。) 在控制面板->程序->启用或关闭Windows功能，在弹出框 阅读全文
posted @ 2019-01-16 22:07 happy_codes 阅读(1044) 评论(0) 推荐(0) 编辑
2019年1月6日
记第一次破解js加密代码
摘要： 首先，我要爬的是这个网站:http://www.66ip.cn/nm.html，我想做个直接调用网站的接口获取代理的爬虫 这个接口看上去似乎很简单，直接输入需要的代理条件后，点击提取即可 点击提取后就是一个个ip了， 废话不多说，按f12点开， 发现需要两个cookie值，不知道从哪来，删掉cook 阅读全文
posted @ 2019-01-06 00:10 happy_codes 阅读(3129) 评论(0) 推荐(0) 编辑
2019年1月4日
学习爬虫的感想和心得
摘要： 写爬虫真不是件简单的事 学习了大概两个月的爬虫，渐渐感觉到写爬虫并不是件简单的事，有诸多的考虑，先简单的记录一下，有时间分部分做示例 一、学习爬虫知识 我是从python3开始做爬虫的，首先，python3的语法必须知道，不过python3并不难，语法也非常简洁。但是，写着发现有个毛病，就是比如一个 阅读全文
posted @ 2019-01-04 13:20 happy_codes 阅读(18354) 评论(0) 推荐(0) 编辑
2018年12月16日
[转]python-元类
摘要： 转载于：刘羽冲 两句话掌握python最难知识点——元类 千万不要被所谓“元类是99%的python程序员不会用到的特性”这类的说辞吓住。因为每个中国人，都是天生的元类使用者 学懂元类，你只需要知道两句话： 道生一，一生二，二生三，三生万物 我是谁？我从哪来里？我要到哪里去？ 在python世界，拥 阅读全文
posted @ 2018-12-16 16:06 happy_codes 阅读(208) 评论(0) 推荐(0) 编辑
2018年12月3日
python if x:
摘要： 结果 阅读全文
posted @ 2018-12-03 10:58 happy_codes 阅读(447) 评论(0) 推荐(0) 编辑
2018年11月30日
Scrapy命令和备注
摘要： Scrapy命令和备注 1.创建一个新项目(命令行) project是项目名 2.调试项目(pycharm) 在pycharm中新建cmdline.py 加断点，debug运行即可 3.暂停和重启项目(命令行) spidername是爬虫的名字 JOB_DIR是写在项目的settings.py中的 阅读全文
posted @ 2018-11-30 15:44 happy_codes 阅读(160) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 17 下一页