04 2020 档案
摘要：head -n 10 file # 前10行 head -n -10 file # 不要最后10行的前面所有行 tail -n 10 file # 后10行 tail -n +10 file # 不要前面10行的后面所有行 head -n -10 | tail -n +10 # 不要前后10行剩余的
阅读全文
摘要：1，df -h这个命令可以以人们容易阅读的方式显示整个磁盘的使用情况，如下图所示： Filesystem：代表该文件系统是在哪个分区，所以列出设备名称Size：总的磁盘空间大小Used：使用掉的硬盘空间大小Avail：剩下的磁盘空间大小Use%：磁盘使用率Mounted on：磁盘挂载的目录所在（挂
阅读全文
摘要：# 查看当前目录下的文件数量（不包含子目录中的文件） ls -l|grep "^-"| wc -l# 查看当前目录下的文件数量（包含子目录中的文件） 注意：R，代表子目录 ls -lR|grep "^-"| wc -l# 查看当前目录下的文件夹目录个数（不包含子目录中的目录），同上述理，如果需要查看
阅读全文
摘要：1. 查看python路径终端输入命令： whereis python 假设你的电脑上同时安装了python2和python3，可以使用使用以下命令分别查看其安装路径： whereis python2 whereis python3 2.查看使用pip安装的软件包默认python3 pip list
阅读全文
摘要：如果要在python2的py文件里面写中文，则必须要添加一行声明文件编码的注释，否则python2会默认使用ASCII编码。 # -*- coding:utf-8 -*- 首先请参考python的PEP http://www.python.org/dev/peps/pep-0263/ 概要如下 1.
阅读全文
摘要：Tqdm 是 Python 进度条库
阅读全文
摘要：直接上代码： # coding: utf-8 import csv csvfile = file('csv_test.csv', 'rb') reader = csv.reader(csvfile) for line in reader: print line csvfile.close() imp
阅读全文
摘要：Python3 File(文件) 方法
阅读全文
摘要：wc -l test.txt wc -l filename
阅读全文
摘要：Ubuntu--pip3 -V 问题 Linux 查看服务器硬件配置 linux 删除文件、文件夹 Linux 文件、文件夹的复制、移动、删除 Linux ifconfig查看网卡信息 linux ping命令 Linux -- tar 命令 Linux -- 安装ftp服务 Linux -- cr
阅读全文
摘要：SCP 复制文件与目录 Linux scp 命令用于 Linux 之间复制文件和目录。 scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。 scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。 1、语法 scp
阅读全文
摘要：Linux Crontab 定时任务
阅读全文
摘要：http://www.uml.org.cn/python/2019073013.asp
阅读全文
摘要：常用： import logging # logging 配置 LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s - %(pathname)s - %(funcName)s - %(lineno)d" logging.basicConfi
阅读全文
摘要：描述 Python strip() 方法用于移除字符串头尾指定的字符（默认为空格）或字符序列。 注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。 语法 strip()方法语法： str.strip([chars]); 参数 chars -- 移除字符串头尾指定的字符序列。 返回值 返
阅读全文
摘要：1、概述： Linux tar命令用于备份文件。 tar是用来建立，还原备份文件的工具程序，它可以加入，解开备份文件内的文件。 2、常用命令： 实例 压缩文件 非打包 # touch a.c # tar -czvf test.tar.gz a.c //压缩 a.c文件为test.tar.gz a.c
阅读全文
摘要：1、连接数据库： 以下实例链接 Mysql 的 TESTDB 数据库： import pymysql # 打开数据库连接 db = pymysql.connect(host='localhost', port=3306, user='root', password='xxxx', db='books
阅读全文
摘要：mysql--基本命令 mysql--时区表问题（Windows环境下） mysql--时区问题（时间差8个小时？修改Mysql 时区） mysql8.0.13安装、使用教程图解 Mysql命令alter add：增加表的字段 MySQL -- Mac平台 重启服务、查看服务状态 PyMySql -
阅读全文
摘要：1、查看MySQL服务状态 sudo mysql.server status 2、重新启动MySQL服务 sudo mysql.server restart
阅读全文
摘要：import csv import pymysql from openpyxl import load_workbook # 读取现有Excel class MyFuncRreadExcel(object): def __init__(self): self.mysqlConfig = { "hos
阅读全文
摘要：python3 之 文件read方法（read、readline、readlines） Python3 -- 文件I/O总结（with、read、write、txt、CSV等） Python3 之 with语句（高效、便捷） python3之递归实例 python3 之 闭包实例解析 python3
阅读全文
摘要：json.dumps 与 json.loads 实例 #!/usr/bin/python3 import json # Python 字典类型转换为 JSON 对象 data1 = { 'no' : 1, 'name' : 'Runoob', 'url' : 'http://www.runoob.c
阅读全文
摘要：1、工作簿操作 1、基本操作：打开Excel文件、打开当前工作表sheet、获取最大行数、获取最大列数 # 入口函数 # 读取商品词Excel def read_xls_product(xls_path): # 打开一个Excel try: wb = load_workbook(xls_path)
阅读全文
摘要：1.在根目录下创建.pip文件夹 mkdir ~/.pip 2.在创建好的.pip文件夹下创建pip源配置文件 touch ~/.pip/pip.conf 3.选择国内某一pip源配置到文件pip.conf中，样例如下(这里用的是阿里的pip源)： [global] index-url=http:/
阅读全文
摘要：把电影天堂数据存入MySQL数据库 - 增量爬取 # 思路 # 1、MySQL中新建表 urltab,存储所有爬取过的链接的指纹 # 2、在爬取之前,先判断该指纹是否爬取过,如果爬取过,则不再继续爬取 1、建库建表 # 建库建表 create database filmskydb charset u
阅读全文
摘要：# 整体思路 1、爬取一级页面,提取 所需数据+链接,继续跟进 2、爬取二级页面,提取 所需数据+链接,继续跟进 3、... ... # 代码实现思路 1、所有数据最终都会在一级页面遍历每条数据时全部拿到 2、避免重复代码 - 请求、解析需定义函数 电影天堂二级页面抓取案例 领取任务 # 地址 电影
阅读全文
摘要：MongoDB数据库 MongoDB是一个基于磁盘的 非关系型 （key-value）数据库， value为json串 MySQL： 库 表 表记录 MongoDB： 库 集合 文档 pymongo操作mongodb数据库 import pymongo # 1.数据库连接对象 conn=py
阅读全文
摘要：1、在数据库中建库建表 # 连接到mysql数据库 mysql -h127.0.0.1 -uroot -p123456 # 建库建表 create database maoyandb charset utf8; use maoyandb; create table filmtab( name var
阅读全文
摘要：乱码解决方案 Windows系统下： 记事本打开csv文件 ——>另存为（选择编码：ansy）
阅读全文
摘要：作用 将爬取的数据存放到本地的csv文件中 使用流程 1、导入模块 2、打开csv文件 3、初始化写入对象 4、写入数据(参数为列表) import csv with open('film.csv','w') as f: writer = csv.writer(f) writer.writero
阅读全文
摘要：1、爬取网站基本步骤： 确定网页是动态或静态类型 确定url格式 发送请求 获取请求响应 解析响应数据，获取想要数据 保存数据（本地文件、数据库） 2、案例演示： 1、大致程序框架： # 程序结构 class xxxSpider(object): def __init__(self): # 定义常用
阅读全文
摘要：re模块使用流程 方法一 r_list=re.findall('正则表达式',html,re.S) # 如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始。 # 而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，在整体中进行匹配。 方法二 # 1、创建正
阅读全文
摘要：1、模块名及导入 模块 # 模块名 urllib.parse # 导入import urllib.parsefrom urllib import parse 作用 给URL地址中查询参数进行编码 编码前：https://www.baidu.com/s?wd=美女 编码后：https://www.ba
阅读全文
摘要：自己整理一个User-Agent模块，方便日后拿来就能用： 1、利用 fake_useragent from fake_useragent import UserAgent # 随机生成1个User-Agent def get_headers(): ua = UserAgent() useragen
阅读全文
摘要：百度搜索User-Agent： 百度 PC UA Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) Mozilla/5.0 (compatible; Baiduspider-rend
阅读全文
摘要：Spider --Urllib3 使用简介 Spider --urlilib.request.Request 请求模块 简单使用 Spider --爬虫请求模块 requests Spider -- 各大搜索引擎爬虫：User-Agent Spider -- User-Agent 个人整理小模块 S
阅读全文
摘要：1、安装 Linux sudo pip3 install requests Windows # 进入cmd命令行 python -m pip install requests 2、用法1：requests.get() 作用 # 向网站发起请求,并获取响应对象 res = requests.get(u
阅读全文
摘要：process_start_time = time.time() print('开始数据处理') # process function print('结束数据处理') process_stop_time = time.time() # 差的时间戳 diff_time = process_stop_t
阅读全文
摘要：一、了解字符编码的知识储备 1. 文本编辑器存取文件的原理（nodepad++，pycharm，word） 打开编辑器就打开了启动了一个进程，是在内存中的，所以在编辑器编写的内容也都是存放与内存中的，断电后数据丢失，因而需要保存到硬盘上，点击保存按钮，就从内存中把数据刷到了硬盘上。在这一点上，我们编
阅读全文
摘要：1、源码案例 from urllib import request # 定义常用变量：URL、headers url = 'http://httpbin.org/get' headers = {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; zh-cn) P
阅读全文
摘要：1、前述 Urllib3在过去365天（2019）中，下载量达到了9.55亿次。Urllib3是一个功能强大的，用于http客户端的python库，相比于python标准库中的urllib库，Urllib3提供了更全面的特性，包括线程安全，客户端SSL/TLS验证等，不仅如此，Urllib3广泛的被
阅读全文
摘要：1、前述 在Django中，如果需要在数据库中，存储图片或视频类的数据，我们可以配置MEDIA。 下面，演示一个上传图片的示例，来说明MEDIA的配置及用法，仅作为个人笔记使用。 2、第一步：settings.py # media files 用户上传图片、视频 MEDIA_URL = '/medi
阅读全文
摘要：先上一个项目文件结构： 1、settings.py文件中：static相关内容 # the settings above # STATIC SETTINGS STATIC_URL = '/static/' # BASE_DIR 是项目的绝对地址 STATIC_ROOT = os.path.join(
阅读全文
摘要：1、templates配置 一般创建项目时，已经配置完毕 TEMPLATES = [ { 'BACKEND': 'django.template.backends.django.DjangoTemplates', 'DIRS': [os.path.join(BASE_DIR, 'templates'
阅读全文
摘要：应用场景：线上部署（Linux） 注意：执行时，需要与manag.py处于同一路径下 作用：执行该命令时，将所有STATICFILES_DIRS中的所有文件夹中的文件及各APP中static中的文件都复制到 静态文件根目录下：STATIC_ROOT # 当运行 python manage.py co
阅读全文
摘要：模型元数据是“任何不是字段的数据”，比如排序选项（ordering），数据库表名（db_table）或者人类可读的单复数名称（verbose_name 和verbose_name_plural）。在模型中添加class Meta是完全可选的，所有选项都不是必须的。 class Book(models
阅读全文
摘要：__str__是python的object基类的一个方法，也就是说python所有的类都有； 当然django的modle类也有； 我们平常创建一个类的对象，print这个对象时一般会是<__main_.TestClass object at 0x7f4126578828>，即这个对象的所属类和内存
阅读全文
摘要：python manage.py createsuperuser
阅读全文
摘要：auto_now无论是你添加还是修改对象，时间为你添加或者修改的时间。auto_now=True auto_now_add为添加时的时间，更新对象时不会有变动。auto_now_add=True
阅读全文
摘要：1、为什么需要virtualenv？ 在做python个人开发时，难免会遇到多个项目的时候。那么，就会遇到项目环境混乱的情况，A项目的环境包含B项目的一些库，这样会导致后期上线部署时，分不清到底该需要哪些库。因此，才有了虚拟环境的使用：virtualenv。 ps: virtualenv只是虚拟环境
阅读全文
摘要：virtualenv的下载、安装、启动、退出方法，详见 ：python3 --virtualenv的使用方法 1、虚拟环境-安装Django2.0 pip install django==1.11 -i https://pypi.doubanio.com/simple/ --trusted-host
阅读全文
摘要：本项目是基于 Django2.0视频教程：https://space.bilibili.com/252028233/channel/detail?cid=28138 做的项目复盘笔记，非常感谢 博主 杨仕航 老师的辛苦付出！！ 项目脑图总览： 也欢迎大家多多支持 杨老师 http://yshblog
阅读全文
摘要：1、想在项目名称name 搜索关键词 in:name spring boot 2、在readme中搜索关键词 in:readme sprig boot 3、获取start大于3000 in:name spring boot starts>3000 4、获取fork大于5000 fork>5000 5
阅读全文
摘要：MySQL 单行注释 1.使用"#" #单行注释 select * from students; 2.使用 "-- " 注意,--后跟有一个空格 -- MySQL单行注释方法二 select * from students 3.多行注释: 使用/* */ /* 此处为注释.... */ select
阅读全文
摘要：简单CASE WHEN函数： CASE SCORE WHEN 'A' THEN '优' ELSE '不及格' END CASE SCORE WHEN 'B' THEN '良' ELSE '不及格' END CASE SCORE WHEN 'C' THEN '中' ELSE '不及格' END 等同于
阅读全文
摘要：简介： get_json_object(string json_string, string path) 说明： 第一个参数填写json对象变量 第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组；如果输入的json字符串无效，那么返回NULL。 每次只能返回一个数据项。 举
阅读全文
摘要：Data access object(DAO)数据访问对象 CUID (Called User Identification number) 被叫用户识别号 CRUD （Create Retrieve Update Delete）即 数据库基本操作：增删改查 CRUD是指在做计算处理时的增加(Cre
阅读全文
摘要：https://pypi.python.org/simple
阅读全文
摘要：python -m pip install --upgrade pip -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com 解析： 1、以管理员身份升级pip ：python -m pip install --u
阅读全文
摘要：pip install xxx -i http://pypi.douban.com/simple/pip install -r req.txt -i http://pypi.douban.com/simple/ 如果出现报错： 则使用：pip install django==1.11 -i http
阅读全文
摘要：Bootstrap 提供了一套响应式、移动设备优先的流式网格系统，随着屏幕或视口（viewport）尺寸的增加，系统会自动分为最多12列。 Bootstrap 网格系统（Grid System）的工作原理 网格系统通过一系列包含内容的行和列来创建页面布局。下面列出了 Bootstrap 网格系统是如
阅读全文
浙公网安备 33010602011771号