上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 38 下一页
摘要: 一. 挂载U盘到linux中,也可以是虚拟机中的linux 1. 首先插上U盘 2. fdisk -l 找到自己的U盘设备,并且记住文件系统类型,主要看空间大小来判断,比如是/dev/sdc 3. 在mnt目录下建立一个usb目录 mkdir -p /mnt/usb 4. 挂载U盘 mount -t 阅读全文
posted @ 2018-08-14 12:25 坚强的小蚂蚁 阅读(2437) 评论(0) 推荐(0) 编辑
摘要: 查找命令总结,which,whereis,find,locate,type http://blog.csdn.net/jessica1201/article/details/8139249 1、find命令 find是最常用也是最强大的查找命令,它可以查找任何类型的文件。 find命令的一般格式为: 阅读全文
posted @ 2018-08-14 11:43 坚强的小蚂蚁 阅读(441) 评论(0) 推荐(0) 编辑
摘要: 一. 系统信息查看命令 查看磁盘剩余空间:df -hl 查看节点数(inode):df -li 查看内存:free 查看系统版本:lsb_release -a 查看linux内核版本:uname -a; cat/proc/version 查看端口占用情况:ps -aux; 例如 ps -aux | 阅读全文
posted @ 2018-08-14 11:32 坚强的小蚂蚁 阅读(586) 评论(0) 推荐(0) 编辑
摘要: 生成项目 scrapy startproject image360 cd Image360 && scrapy genspider images images.so.com 一. 构造请求 1. 在setting.py中增加MAX_PAGE=5,表示爬取5页 2. 在images.py中定义star 阅读全文
posted @ 2018-08-02 17:20 坚强的小蚂蚁 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 一. 功能说明 Downloader Middleware有三个核心的方法 process_request(request, spider) process_response(request, response, spider) process_exception(request, exceptio 阅读全文
posted @ 2018-08-02 11:48 坚强的小蚂蚁 阅读(178) 评论(0) 推荐(0) 编辑
摘要: 一. 基本概念 1. Selector是一个可独立使用的模块,我们可以用Selector类来构建一个选择器对象,然后调用它的相关方法如xpaht(), css()等来提取数据,如下 from scrapy import Selector body= '<html><head><title>Hello 阅读全文
posted @ 2018-08-01 17:39 坚强的小蚂蚁 阅读(4636) 评论(0) 推荐(0) 编辑
摘要: 使用爬取http://quotes.toscrape.com/内容,网站内容很简单 一. 使用scrapy创建项目 二. 修改items.py和quotes.py items.py用来保存爬取的数据,和字典的使用方法一样 网页源文件中只需提取上面定义的3个字段 quotes.py 其中的parse函 阅读全文
posted @ 2018-08-01 12:08 坚强的小蚂蚁 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 一. itemgetter的使用方法 itemgetter()返回一个指定列表下标或者字典键的函数,通过这个返回的函数作用到对象上,获得才能取得相应的值 1. 排序字典列表的一个例子 2. itemgetter在一般列表中的用法 3. itemgetter在元组中的用法,其中key为一个函数或者la 阅读全文
posted @ 2018-07-31 17:34 坚强的小蚂蚁 阅读(797) 评论(0) 推荐(0) 编辑
摘要: uname -a 查看当前使用内核版本 升级指定内核 apt-get install linux-image-4.4.0-131-generic dpkg --get-selections | grep linux-image 查看拥有的所有内核版本 apt-get remove linux-ima 阅读全文
posted @ 2018-07-30 17:23 坚强的小蚂蚁 阅读(381) 评论(0) 推荐(0) 编辑
摘要: 一. 去重并保持原来元素的顺序 二. 命名切片 假定你有一段代码要从一个记录字符串中几个固定位置提取出特定的数据字段,用切片取出想要的字符 有时候代码量比较多的话,直接写切片不能清楚它的含义;为了便于理解,可以用内置函数slice()把切片命名 如果你有一个切片对象 a,你可以分别调用它的 a.st 阅读全文
posted @ 2018-07-26 17:19 坚强的小蚂蚁 阅读(234) 评论(0) 推荐(0) 编辑
上一页 1 ··· 20 21 22 23 24 25 26 27 28 ··· 38 下一页