坚强的小蚂蚁

2018年8月14日

摘要：查找命令总结，which，whereis，find，locate，type http://blog.csdn.net/jessica1201/article/details/8139249 1、find命令 find是最常用也是最强大的查找命令，它可以查找任何类型的文件。 find命令的一般格式为：阅读全文

posted @ 2018-08-14 11:43 坚强的小蚂蚁阅读(438) 评论(0) 推荐(0) 编辑

系统信息查看命令

摘要：一. 系统信息查看命令查看磁盘剩余空间：df -hl 查看节点数（inode)：df -li 查看内存：free 查看系统版本：lsb_release -a 查看linux内核版本：uname -a; cat/proc/version 查看端口占用情况：ps -aux; 例如 ps -aux | 阅读全文

posted @ 2018-08-14 11:32 坚强的小蚂蚁阅读(561) 评论(0) 推荐(0) 编辑

2018年8月2日

item pipeline 实例：爬取360摄像图片

摘要：生成项目 scrapy startproject image360 cd Image360 && scrapy genspider images images.so.com 一. 构造请求 1. 在setting.py中增加MAX_PAGE=5，表示爬取5页 2. 在images.py中定义star 阅读全文

posted @ 2018-08-02 17:20 坚强的小蚂蚁阅读(233) 评论(0) 推荐(0) 编辑

scrapy之 downloader middleware

摘要：一. 功能说明 Downloader Middleware有三个核心的方法 process_request(request, spider) process_response(request, response, spider) process_exception(request, exceptio 阅读全文

posted @ 2018-08-02 11:48 坚强的小蚂蚁阅读(175) 评论(0) 推荐(0) 编辑

2018年8月1日

scrapy 中用selector来提取数据的用法

摘要：一. 基本概念 1. Selector是一个可独立使用的模块，我们可以用Selector类来构建一个选择器对象，然后调用它的相关方法如xpaht(), css()等来提取数据，如下 from scrapy import Selector body= '<html><head><title>Hello 阅读全文

posted @ 2018-08-01 17:39 坚强的小蚂蚁阅读(4626) 评论(0) 推荐(0) 编辑

scrapy入门例子

摘要：使用爬取http://quotes.toscrape.com/内容，网站内容很简单一. 使用scrapy创建项目二. 修改items.py和quotes.py items.py用来保存爬取的数据，和字典的使用方法一样网页源文件中只需提取上面定义的3个字段 quotes.py 其中的parse函阅读全文

posted @ 2018-08-01 12:08 坚强的小蚂蚁阅读(259) 评论(0) 推荐(0) 编辑

2018年7月31日

itemgetter和groupby

摘要：一. itemgetter的使用方法 itemgetter()返回一个指定列表下标或者字典键的函数，通过这个返回的函数作用到对象上，获得才能取得相应的值 1. 排序字典列表的一个例子 2. itemgetter在一般列表中的用法 3. itemgetter在元组中的用法，其中key为一个函数或者la 阅读全文

posted @ 2018-07-31 17:34 坚强的小蚂蚁阅读(788) 评论(0) 推荐(0) 编辑

2018年7月30日

记一次升级Ubuntu内核

摘要： uname -a 查看当前使用内核版本升级指定内核 apt-get install linux-image-4.4.0-131-generic dpkg --get-selections | grep linux-image 查看拥有的所有内核版本 apt-get remove linux-ima 阅读全文

posted @ 2018-07-30 17:23 坚强的小蚂蚁阅读(374) 评论(0) 推荐(0) 编辑

2018年7月26日

处理序列的几个小技巧：保持原序去重，命名切片以及Counter类

摘要：一. 去重并保持原来元素的顺序二. 命名切片假定你有一段代码要从一个记录字符串中几个固定位置提取出特定的数据字段，用切片取出想要的字符有时候代码量比较多的话，直接写切片不能清楚它的含义；为了便于理解，可以用内置函数slice()把切片命名如果你有一个切片对象 a，你可以分别调用它的 a.st 阅读全文

posted @ 2018-07-26 17:19 坚强的小蚂蚁阅读(231) 评论(0) 推荐(0) 编辑

关于字典的几个类--defaultdict，OrderedDict, zip()

摘要：一. 1个键对应多个值比如：d = {'a' : [1, 2, 3], 'b' : [4, 5]}，可以使用 collections 模块中的 defaultdict 来构造这样的字典注意： 1. 选择使用列表还是集合取决于你的实际需求。如果你想保持元素的插入顺序就应该使用列表，如果想去掉重复元阅读全文

posted @ 2018-07-26 16:54 坚强的小蚂蚁阅读(671) 评论(0) 推荐(0) 编辑

坚强的小蚂蚁

每天都要有收获

公告