2018年4月15日
摘要: 本文有2个文件 1:taobao_re_xpath 2:taobao_re_xpath_setting # 1:taobao_re_xpath # -*- coding:utf-8 -*- # author : yesehngbao # time:2018/3/20 import os import requests import re import json import pymongo... 阅读全文
posted @ 2018-04-15 16:43 一剑001 阅读(1930) 评论(0) 推荐(0) 编辑
摘要: 1、模板的继承一般用在别人给我们做好的HTML页面,当我们发现有很多的页面都具有相同的部分,这会我们应该考虑怎么能把他们相同的部分给提取出来,提取出来的部分我们作为一个单独的HTML文件叫做base.html,其余不同的部分我们在base.html中用{%block content%}{%endbl 阅读全文
posted @ 2018-04-15 16:37 一剑001 阅读(473) 评论(0) 推荐(0) 编辑
摘要: 7.1 表的查询 查询 Person.objects.all() Person.objects.all()[:10] 切片操作,获取10个人,不支持负索引,切片可以节约内存 Person.objects.get(name=name) get是用来获取一个对象的,如果需要获取满足条件的一些人,就要用到 阅读全文
posted @ 2018-04-15 16:37 一剑001 阅读(1055) 评论(0) 推荐(0) 编辑
摘要: 如何设置爬虫断点续传 有时候我们爬取数据跑了半天,突然报错了,例如网络中断,我们想继续爬取,不需程序从头开始爬取,可以采取下面的方案 要想程序继续从断开的位置爬取,最好的方案就是将每次爬取的url存储到数据库中,程序每爬取一个url判断数据库中是否存在存在说明爬取过了,跳过本次url,如果没有,那就 阅读全文
posted @ 2018-04-15 16:32 一剑001 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 1、python3.6 2、MySQL 3、安装虚拟环境 1、pip install virtualenv -i https://pypi.douban.com/simple/ 2、pip install virtualenvwrapper-win -i https://pypi.douban.co 阅读全文
posted @ 2018-04-15 16:21 一剑001 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 安装 win 下载5.7.17的数据包, 一路下一步。 centos7: 安装时出现yum路径异常: 检查python2.7 或其他版本的路径是否正确 1)安装MySQL YUM资源库 [root@kevin ~]# yum localinstall https://dev.mysql.com/ge 阅读全文
posted @ 2018-04-15 16:19 一剑001 阅读(190) 评论(0) 推荐(0) 编辑
摘要: MONGO 服务化 使用超级用户进入cmd到D:\mongodb\bin> 日志文件需要提前创建 mongod --bind_ip 0.0.0.0 --logpath D:\mongodb\data\mango.log --logappend --dbpath D:\mongodb\data\db  阅读全文
posted @ 2018-04-15 16:17 一剑001 阅读(196) 评论(0) 推荐(0) 编辑
摘要: arch 显示机器的处理器架构(1) uname -m 显示机器的处理器架构(2) uname -r 显示正在使用的内核版本 dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI) hdparm -i /dev/hda 罗列一个磁盘的架构特性 hdparm -tT /dev/s 阅读全文
posted @ 2018-04-15 16:06 一剑001 阅读(110) 评论(0) 推荐(0) 编辑