07 2018 档案
摘要：一. itemgetter的使用方法 itemgetter()返回一个指定列表下标或者字典键的函数，通过这个返回的函数作用到对象上，获得才能取得相应的值 1. 排序字典列表的一个例子 2. itemgetter在一般列表中的用法 3. itemgetter在元组中的用法，其中key为一个函数或者la
阅读全文
摘要：uname -a 查看当前使用内核版本 升级指定内核 apt-get install linux-image-4.4.0-131-generic dpkg --get-selections | grep linux-image 查看拥有的所有内核版本 apt-get remove linux-ima
阅读全文
摘要：一. 去重并保持原来元素的顺序 二. 命名切片 假定你有一段代码要从一个记录字符串中几个固定位置提取出特定的数据字段，用切片取出想要的字符 有时候代码量比较多的话，直接写切片不能清楚它的含义；为了便于理解，可以用内置函数slice()把切片命名 如果你有一个切片对象 a，你可以分别调用它的 a.st
阅读全文
摘要：一. 1个键对应多个值 比如：d = {'a' : [1, 2, 3], 'b' : [4, 5]}，可以使用 collections 模块中的 defaultdict 来构造这样的字典 注意： 1. 选择使用列表还是集合取决于你的实际需求。如果你想保持元素的插入顺序就应该使用列表，如果想去掉重复元
阅读全文
摘要：一. deque（双端队列) 1. 使用 deque(maxlen=N)会新建一个固定大小的队列。当新的元素加入并且这个队列已满的时候，最老的元素会自动被移除掉 >>> from collections import deque >>> q = deque(maxlen=3) >>> q.appen
阅读全文
摘要：说明: python中序列和散列 序列：可通过偏移量来进行切片的对象。列表、元组、字符串都属于序列。 散列：无法通过偏移量来进行切片的对象。比如 集合、字典 一. 变量的数量跟序列元素的个数一样 1. 元组和序列元素赋值 2. 字符串元素赋值 其实这种方法可以用在任何可迭代对象上面，包括迭代器和生成
阅读全文
摘要：知识点包括：case语句，cat多行输入，break和exit的区别，wget断点续传，while中断条件写法，函数的使用方法
阅读全文
摘要：SSH端口操作 绑定本地端口 既然SSH可以传送数据，那么我们可以让那些不加密的网络连接，全部改走SSH连接，从而提高安全性。假定我们要让8080端口的数据，都通过SSH传向远程主机，命令就这样写： $ ssh -D 8080 user@hostSSH会建立一个socket，去监听本地的8080端口
阅读全文
摘要：redis库提供了两个类：Redis和StrictRedis来实现Redis的命令操作，前者是为了兼容老版本库的集中方法，一般就用StrictRedis 一. redis基本操作 二. 键的一些判断和操作方法 三. 字符串操作 四. 列表操作
阅读全文
摘要：mongodb基本命令 1. 插入数据 注意 1. 插入一条和插入多条不能同时写入，否则会ID冲突的报错 2. 在mongoDB中，每条数据都有一个_id属性来唯一标识。如果没有显示指明该属性，mongodb会自动产生一个ObjectId类型的_id属性 2. 查询 2.1 比较符号 2.2 功能符
阅读全文
摘要：转自http://www.cnblogs.com/1214804270hacker/p/9299462.html 一、认识访问静态资源与访问动态资源的区别 静态资源：指存储在硬盘内的数据，固定的数据，不需要计算的数据。 如：图片、字体、js文件、css文件等等。在用户访问静态资源时，服务器会直接将这
阅读全文
摘要：转自https://www.cnblogs.com/1214804270hacker/p/9325150.html 一、关于Nginx的负载均衡 在服务器集群中，Nginx起到一个代理服务器的角色（即反向代理），为了避免单独一个服务器压力过大，将来自用户的请求转发给不同的服务器。 二、Nginx负载
阅读全文
摘要：一. json 1：基本概念 1.1 Json和Javascript JSON, 全称JavaScript Object Notation，它通过对象和数组的组合来表示数据。在JavaScript中一切都是对象，因此，任何支持的类型都可以通过JSON来表示，常用的类型有数据和对象。 JavaScri
阅读全文
摘要：rewrite可以写在server段、location段和if段。语法： flag是标记。有4种标记，它们的作用如下表。 注意： last和break用来实现URL改写，此时浏览器中的地址不会改变，但实际上在服务器上访问的资源和路径已经改变了。 redirect和permanent用来实现URL跳转
阅读全文
摘要：1. 连接mysql 2. 创建表 3. 插入数据 4. 更新数据 4.1：普通更新 4.2：去重更新 如果主键存在就更新，不存在就新增 分析理解 5. 删除数据 6. 查询数据
阅读全文
摘要：1. location里面的root例子 这个配置表示输入 www.wzw.com:80/www 时会访问本机的/data/www/ 目录去找文件， 如果是root data/; 那么是在nginx的安装目录下的data目录，比如/usr/local/nginx/data/www/目录找文件 2.
阅读全文
摘要：一. location使用语法 location [ = | ~ | ~* | ^~ ] URI { ... } 说明： 1. 其中URI可以是普通的字符串地址路径，或者是正则表达式，匹配成功后执行后面大括号里的相关指令 2. URI前面的匹配标识说明 = 开头表示精确匹配， /和^~ 开头表示常规
阅读全文
摘要：方案1：一次性爬取全部淘宝美食信息 1. spider.py文件如下 2. config.py 方案2：上面这种方法经测试可正常运行，但是会一次性爬取全部数据，数据量较大且不能灵活控制抓取内容，下面代码基本实现方法如下 1. 把搜索的关键字直接放在url中 2. 分页抓取商品信息 3. 使用chro
阅读全文
摘要：参考网站：https://blog.csdn.net/Young_Child/article/details/78571422 在爬的过程中遇到的问题: 1、被ban：更改header的User-Agent，伪装成浏览器浏览，如果还被ban可以使用代理，这个网站只需要伪装头再加上time.sleep
阅读全文
摘要：完整代码经测试可成功运行，目的是抓取头条网输入街拍后的图片，涉及的知识点如下 1. md5加密使用方法 方法1：不创建实例对象，直接使用 >>> from hashlib import md5 >>> md5('hong'.encode('utf-8')).hexdigest() '88163c52
阅读全文
摘要：代码如下 使用pyquery简单实现
阅读全文
摘要：1. 一个简单的使用例子 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.
阅读全文
