骑骡子赶猪 - 博客园

整理 logging 2种方式

摘要：第一种*******************************************************************************************************************************- settings.py common 阅读全文

posted @ 2019-03-28 22:21 骑骡子赶猪阅读(150) 评论(0) 推荐(0) 编辑

Celery 异步任务 , 定时任务 , 周期任务的芹菜

摘要： 1.什么是Celery?Celery 是芹菜Celery 是基于Python实现的模块, 用于执行异步定时周期任务的其结构的组成是由 1.用户任务 app 2.管道 broker 用于存储任务官方推荐 redis rabbitMQ / backend 用于存储任务执行结果的 3.员工 worker 阅读全文

posted @ 2019-03-11 21:15 骑骡子赶猪阅读(157) 评论(1) 推荐(0) 编辑

requests_html 使用

摘要：安装 pip install requests-html#2种方式爬取博客园from requests_html import HTMLSessionsession=HTMLSession()r=session.get('https://news.cnblogs.com/')#通过CSS找到新闻标阅读全文

posted @ 2019-03-10 21:22 骑骡子赶猪阅读(286) 评论(1) 推荐(0) 编辑

装饰器,栈 ,asyncio 代码

摘要：装饰器目的: 不改变原来代码的基础上. 给函数添加新功能动态代理. 拦截器通用装饰器的写法def wrapper(fn): def inner(*args, **kwargs): '''之前''' ret = fn(*args, **kwargs) '''之后''' return ret retur 阅读全文

posted @ 2019-02-21 20:35 骑骡子赶猪阅读(134) 评论(0) 推荐(0) 编辑

sqlalchemy 使用

摘要： salalchemy普通操作创建数据增加数据修改数据查询数据删除数据 ************************************************************************************************************** 阅读全文

posted @ 2019-02-20 13:42 骑骡子赶猪阅读(131) 评论(0) 推荐(0) 编辑

git 安装

摘要：首先如下图：（点击next）第二步：文件位置存储，可根据自己盘的情况安装第三步：安装配置文件，自己需要的都选上，下一步第四步：不创建启动文件夹，下一步：第五步：选择默认的编辑器，我们直接用推荐的就行，下一步第六步：勾上第二项，这样就可以在cmd中操作，下一步第七步：使用默认设置就行，下一阅读全文

posted @ 2019-02-18 20:48 骑骡子赶猪阅读(132) 评论(0) 推荐(0) 编辑

python使用 openpyxl包 excel读取与写入

摘要： python 操作excel 2019-01-07 10:54:28 python 读写 excel 有好多选择，但是，方便操作的库不多，在我尝试了几个库之后，我觉得两个比较方便的库分别是 xlrd/xlwt、openpyxl。之所以推荐两个库是因为这两个库分别操作的是不同版本的 excel，xl 阅读全文

posted @ 2019-02-18 20:38 骑骡子赶猪阅读(900) 评论(0) 推荐(0) 编辑

抓包工具

摘要： Fiddler是一个蛮好用的抓包工具，可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。也可以用来检测网络安全。反正好处多多，举之不尽呀！当年学习的时候也蛮费劲，一些蛮实用隐藏的小功能用了之后就忘记了，每次去网站上找也很麻烦，所以搜集各大网络的资料，总结了一些常用的功能。 Fiddl 阅读全文

posted @ 2019-01-25 11:32 骑骡子赶猪阅读(243) 评论(0) 推荐(1) 编辑

分布式 +rides

摘要： redis分布式部署 1.scrapy框架是否可以自己实现分布式？ - 不可以。原因有二。其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器）其二：多台机器爬取到的数据无法通过同一个管道对数据阅读全文

posted @ 2019-01-16 20:02 骑骡子赶猪阅读(289) 评论(0) 推荐(0) 编辑

crawlspider 多分页处理

摘要：提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。今日概要 CrawlSpider简介阅读全文

posted @ 2019-01-15 21:53 骑骡子赶猪阅读(749) 评论(0) 推荐(0) 编辑

导航

2019年3月28日

2019年3月11日

2019年3月10日

2019年2月21日

2019年2月20日

2019年2月18日

2019年1月25日

2019年1月16日

2019年1月15日


Copyright © 2024 骑骡子赶猪 Powered by .NET 9.0 on Kubernetes 博客园