随笔档案「2018年11月」 - zengsf

爬取不得姐网站，利用多线程来爬取

摘要：利用到的库 time, requests, lxml, queue, threading 功能爬取不得姐网站中前二十页的段子数据阅读全文

posted @ 2018-11-29 18:41 zengsf 阅读(259) 评论(0) 推荐(0)

scrapy常用命令

摘要：终端命令 1. 创建一个项目: scrapy startproject name 2. 利用蜘蛛名创建一个py文件: scrapy genspider name domain.name 3. 在终端运行：scrapy shell url 得到response 4. 利用蜘蛛名进行相对应的运行: sc 阅读全文

posted @ 2018-11-29 16:21 zengsf 阅读(496) 评论(0) 推荐(0)

摘要：from selenium import webdriver import selenium.webdriver.support.ui as ui import time opt = webdriver.ChromeOptions() # 无界面 opt.set_headless() # 设置分辨率 opt.add_argument("window-size=1900x3000") drive... 阅读全文

posted @ 2018-11-28 16:15 zengsf 阅读(217) 评论(0) 推荐(0)

selenium和PhantomJS的使用

摘要：利用selenium来进行爬取数据如果要用chrome浏览器的话，则将浏览器对象改为Chrome就可以若要将有头浏览器变成无头浏览器的话，这添加还有好多方法，查看文档即可：https://python-selenium-zh.readthedocs.io/zh_CN/latest/ 阅读全文

posted @ 2018-11-28 14:28 zengsf 阅读(377) 评论(0) 推荐(0)

爬取百度贴吧中的图片以及视频

摘要：将爬取下来的内容保存到本地阅读全文

posted @ 2018-11-27 20:23 zengsf 阅读(463) 评论(0) 推荐(0)

爬取糗事百科中的数据

摘要：将爬取出来的数据存入mongodb中阅读全文

posted @ 2018-11-27 20:05 zengsf 阅读(115) 评论(0) 推荐(0)

urllib.request中Handler处理器

摘要：1、定义自定义的urlopen()方法,urlopen()方法是一个特殊的opener(模块已定义好),不支持代理等功能,通过Handler处理器对象来自定义opener对象 2、常用方法 1、build_opener(Handler处理器对象) ：创建opener对象 2、opener.open 阅读全文

posted @ 2018-11-27 09:21 zengsf 阅读(1090) 评论(0) 推荐(0)

爬取链家二手房

摘要：1.将爬取出来的数据存储到scv， mysql， mongo数据库中，利用正则的方式爬取。得到csv中的结果，mysql和mongo结果就不显示了：阅读全文

posted @ 2018-11-26 18:52 zengsf 阅读(213) 评论(0) 推荐(0)

flask中利用from来进行对修改修改时旧密码的验证

摘要：在flask中，肯定是post提交个from进行密码验证。还有一定就是修改密码肯定是登录之后才能进行对密码的修改，这么说，在浏览器中的session中一定会有用户的信息，可以通过相对应的信息去获取到相对应的用户密码。这里需要对werkzeug库里面的两个方法有所了解：数据库中直接存放明文密码是很阅读全文

posted @ 2018-11-24 16:46 zengsf 阅读(926) 评论(0) 推荐(0)

将数据存入mysql中

摘要：import pymysql import warnings # 忽略警告 warnings.filterwarnings("ignore") # 连接数据库 db = pymysql.connect("localhost", 'root', "123456", charset="utf8") # 创建游标 cursor = db.cursor() # 创建数据库，如果存在，就不创建 c_... 阅读全文

posted @ 2018-11-23 17:11 zengsf 阅读(495) 评论(0) 推荐(0)

python中把数据存入csv中

摘要：得到结果：阅读全文

posted @ 2018-11-23 14:15 zengsf 阅读(2062) 评论(0) 推荐(0)

爬取贴吧中的html，并保存到相对应的文件夹中

摘要：功能：输入要爬取的贴吧名称，起始页和终止页即可。运行结果：请输入你要搜索的贴吧名：海贼王请输入起始页：1 请输入终止页：5200 保存成功ok 阅读全文

posted @ 2018-11-23 10:10 zengsf 阅读(268) 评论(0) 推荐(0)

urllib模块通过post请求获取数据

摘要：功能：输入你要查找的单词，会返回相对应的结果运行结果：请输入要翻译的单词:hello你好阅读全文

posted @ 2018-11-23 09:11 zengsf 阅读(192) 评论(0) 推荐(0)

django，uwsgi， nginx部署项目

摘要：在liunx中环境中对于nginx来说： 1.先安装nginx 2.启动nginx服务 3.启动成功之后，可以打开浏览器进行验证，访问地址：127.0.0.1:80 4.对于nginx来说，存储html路径为：/var/www/html/ 对于uwsgi来说： 1.进行安装： 2.验证配置文件阅读全文

posted @ 2018-11-22 23:23 zengsf 阅读(183) 评论(0) 推荐(0)

Django中Ajax处理

摘要：1.大部分和Flask中相同。 2.Django处理JSON，主要是对于查询结果集处理。使用Django提供的序列化的类来完成QuerySet到JSON字符串的转换 3.提交POST请求 1.网页中任意一个位置增加 {% csrf_token %} 目的：是为了得到csrf令牌(隐藏域)的键和值阅读全文

posted @ 2018-11-21 22:56 zengsf 阅读(184) 评论(0) 推荐(0)

Django中的session于cookie的用法

摘要：1.cookies 1.django 中使用 cookies 1.设置cookies的值(将数据保存到客户端) 语法：响应对象.set_cookie(key,value,expires) key:cookie的名字 value:cookie的值 expires:保存时间，以s为单位 1.不使用模板阅读全文

posted @ 2018-11-20 22:50 zengsf 阅读(637) 评论(0) 推荐(0)

forms

摘要：1.forms模块的作用通过forms模块，允许将表单与class结合(表单与实体类结合)，允许通过class生成表单 2.使用forms模块 1.在应用中创建 forms.py 文件 2.导入forms模块 from django import forms 3.创建class，一个class对应阅读全文

posted @ 2018-11-19 23:08 zengsf 阅读(993) 评论(0) 推荐(0)

Django中HtttpRequest请求

摘要：1.什么是HttpRequest HttpRequest，就是对请求对象的封装，里面封装的是请求过程中的所有信息。在Django中HttpRequest被封装成request对象并封装到视图处理函数中，在调用视图时自动传入 2.HttpRequest中的主要内容可以使用print(dir(requ 阅读全文

posted @ 2018-11-19 23:01 zengsf 阅读(200) 评论(0) 推荐(0)

Django自定义查询对象

摘要：在Django中，objects对象类继承于models.Manager 1.声明 EntryManager 类，继承自 models.Manager 允许在 EntryManager中增加自定义函数 class EntryManager(models.Manager): def 函数名(self, 阅读全文

posted @ 2018-11-19 22:53 zengsf 阅读(795) 评论(0) 推荐(0)

简单的验证码制作

摘要：参考链接：https://www.jianshu.com/p/9e44acf19513 最终结果：定义一个类： 1.通过随机数，利用ASCII码来获取到相对应的字符。 2.通过图片中的效果，可以看出有一些干扰字符，比如_ , -等一些字符。 3.纵观图片颜色，小黑点是一种颜色区间，字体颜色和干扰阅读全文

posted @ 2018-11-19 13:35 zengsf 阅读(287) 评论(0) 推荐(0)

关系映射

摘要：1.一对一映射 1.语法在关联的两个类中的任何一个类都可以增加对另一个类的引用属性 = models.OneToOneField(Entry) ex: class Author(models.Model): .... .... class Wife(models.Model): .... ... 阅读全文

posted @ 2018-11-17 00:14 zengsf 阅读(176) 评论(0) 推荐(0)

后台管理Models

摘要：1.后台的配置登录地址：http://localhost:8000/admin 创建后台管理员(超级用户): 在终端输入：./manage.py createsuperuser Username : 输入用户名，默认为系统账户名 Email Address : 电子邮件 Password : 密阅读全文

posted @ 2018-11-17 00:03 zengsf 阅读(159) 评论(0) 推荐(0)

利用sql语句进行增删改查

摘要：1.查询函数：raw(sql语句) 语法：Entry.objects.raw(sql) 返回：QuerySet 2.增删改 from django.db import connection def doSQL(request): with connection.curso() as cursor: 阅读全文

posted @ 2018-11-16 23:25 zengsf 阅读(375) 评论(0) 推荐(0)

模型中的增删改查

摘要：1.增加数据 1.Entry.objects.create(属性=值,属性=值) 返回值：插入成功：则返回创建好的实体对象插入失败：则返回 None 2.创建一个Entry对象，并通过save()进行保存 obj = Entry(属性=值,属性=值) obj.属性 = 值 obj.save() 阅读全文

posted @ 2018-11-15 23:15 zengsf 阅读(327) 评论(0) 推荐(0)

模型中的一些指令

摘要：1.版本切换指令 ./manage.py migrate 应用名称版本号 2.通过数据库自动导出models类 ./manage.py inspectdb > 文件名.py 阅读全文

posted @ 2018-11-15 22:48 zengsf 阅读(126) 评论(0) 推荐(0)

创建和配置数据库

摘要：1.进入mysql中创建数据库 2.Django的数据库配置在settings.py中配置数据库的信息 DATABASES = { 'default':{ 'ENGINE':'django.db.backends.sqlite3', 'NAME':os.path.join(BASE_DIR,db. 阅读全文

posted @ 2018-11-14 23:45 zengsf 阅读(383) 评论(0) 推荐(0)

url的反向解析

摘要：1. url的语法格式： url(regex, views, **kwargs, name) name：为地址起别名，反向解析时使用 2.反向解析对于Django中的url反向解析，是分模板和视图的 1. 在模板中的反向解析 1.基本解析 {% url 'name' %} 2. 带参数的解析 {% 阅读全文

posted @ 2018-11-14 23:28 zengsf 阅读(706) 评论(0) 推荐(0)

Django模板的继承

摘要：继承的概念：这个其实也没什么好说的，就跟python中的继承一样的概念。 1.在父模板中，必须表示出哪些内容在字模板中允许被修改标签：{% block 块名 %} 。。。 {% endblock %} 作用：跟flask一样，对父模板无影响，若在子模板中进行修改，则显示修改内容，否则显示父模板中阅读全文

posted @ 2018-11-14 23:11 zengsf 阅读(182) 评论(0) 推荐(0)

flask中的模型

摘要：1.什么是模型模型，是根据数据库中表的结构而创建出来的class。每一张表对应到编程语言中，就是一个class表中的每一个列对应到编程语言中就class中的一个属性。 2.ORM的三大特征 1.数据表(table)到编程类(class)的映射数据库中的每一张表对应到编程语言中都有一个类在阅读全文

posted @ 2018-11-13 23:16 zengsf 阅读(194) 评论(0) 推荐(0)

静态文件的配置

摘要：1.静态文件：指的是css， js ，images 等一些文件 2.在Django中的静态文件的处理在 settings.py中设置有关静态文件的信息： 1.设置静态文件的访问路径在浏览器中通过哪个地址能够找到静态文件 STATIC_URL='/static/' 如果访问路径是 http:// 阅读全文

posted @ 2018-11-13 22:50 zengsf 阅读(169) 评论(0) 推荐(0)

templates的语法

摘要：1.变量 1.作用：将后端的数据传递到模板进行显示 2.允许作为变量的数据类型字符串，整数，列表，元组，字典，函数，对象 3.变量的语法变量传递给前端必须要封装到字典中才能传递给模板 1.使用 loader 加载模板 t = loader.get_template('xxx.html') htm 阅读全文

posted @ 2018-11-13 22:45 zengsf 阅读(382) 评论(0) 推荐(0)

Django中的Templates

摘要：1.定义：定义和flask框架中的是一样的，唯一的不同就是Django中有自己的模板引擎，并非Jinja2，因此有一些不同之处。 2.模板的设置在 settings.py 中设置 TEMPLATES 变量 1.BACKEND:指定使用的模板的引擎 2.DIRS:指定模板的存放目录们 1.DIR 阅读全文

posted @ 2018-11-13 22:31 zengsf 阅读(286) 评论(0) 推荐(0)

Django中的应用

摘要：1.什么是应用应用就是网站中的一个独立的程序模块，在Django中，主目录一般不处理具体的请求，主目录一般要处理的是项目的初始化操作以及请求的分发(分布式请求处理)。而具体的请求是由各个应用去处理。 2.创建应用 1.命令：python3 manage.py startapp 应用名称 2.在se 阅读全文

posted @ 2018-11-12 23:40 zengsf 阅读(556) 评论(0) 推荐(0)

url的使用

摘要：1.urls.py 默认是在主目录中，主路由配置文件，会包含最基本的地址映射，并且每个地址访问都必须要先经过该文件。作用：通过 urls中定义好的地址找到对应的视图处理函数 urlpatterns = [ url() ] 2.url() 的语法作用：为了匹配用户的访问路径语法：先要导入url 阅读全文

posted @ 2018-11-12 23:33 zengsf 阅读(1790) 评论(0) 推荐(0)

Django框架的使用

摘要：1.创建项目：语法：django-admin startproject 项目名称 2.Django的项目结构介绍 1.manage.py 功能；包含执行django中的各项操作的指令，不太清楚可以使用python3 manage.py执行以下 2.主目录（与项目名称一致的目录） 1.__init_ 阅读全文

posted @ 2018-11-12 23:14 zengsf 阅读(121) 评论(0) 推荐(0)

Django的安装

摘要：1.查看已安装的Django版本 1.进入到终端以及Python交互模式交互模式：python3 / ipython3 2.在交互模式中输入：import django 如果报错：当前环境中没有安装Django 如果未报错：已经成功安装Django 3.查看已安装的版本交互模式中：djang 阅读全文

posted @ 2018-11-12 23:00 zengsf 阅读(90) 评论(0) 推荐(0)

文件上传

摘要：1.注意问题表单中如果有文件上传的话，必须遵循以下两个要求 1.提交方式 method 必须为 post 2.表单的 enctype 属性的值必须为 multipart/form-data 2.服务器端 1.通过 request.files 获取上传文件 f = request.files['文阅读全文

posted @ 2018-11-12 22:51 zengsf 阅读(155) 评论(0) 推荐(0)

flask中的request和response

摘要：1.request 1.request的常用成员 1.scheme : 获取请求方案(协议) 2.method : 获取本期请求的请求方式(重点) 3.args : 获取使用get请求方式提交的数据 4.form : 获取使用post请求方式提交的数据 5.cookies : 获取 cookies 阅读全文

posted @ 2018-11-11 22:12 zengsf 阅读(1611) 评论(0) 推荐(0)

模板

摘要：对于模板来说，是可以继承的语法： 1.父模板需要定义出哪些东西在子模板中是可以被重写的 {% block 块名 %} 父模板中正常显示的内容 {% endblock %} block： 1.在父模板中是可以正常显示的，没有任何影响 2.在字模板中是可以被重写的 2.子模板 1.需要指定继承自哪个阅读全文

posted @ 2018-11-09 23:37 zengsf 阅读(135) 评论(0) 推荐(0)

静态文件处理

摘要：1.什么是静态文件在Flask中不能再服务器动态交互的文件都是静态文件 2.静态文件的处理 1.所有的静态文件必须放在名为static的目录中，除非修改了配置 2.所有的静态文件必须通过/static/路径访问 3.如何修改配置构建Flask 应用时允许指定的配置信息 app=Flask(__n 阅读全文

posted @ 2018-11-09 23:14 zengsf 阅读(169) 评论(0) 推荐(0)

Templates中的macro和include标签

摘要：1.macro标签　1.作用：相当于在模板中声名函数 2.使用方法：语法：{% macro 名称(参数列表) %} xxx {% endmacro %} 创建 macro.html 模板文件 --> 作用：定义项目中要用到的所有的宏在使用的网页中，导入 macro.html {% import 阅读全文

posted @ 2018-11-09 22:58 zengsf 阅读(457) 评论(0) 推荐(0)

Templates中的for标签

摘要：for 标签 {% for 变量 in 元组|列表|字典 %} {% endfor %} 在 Jinja2 模板的循环中，支持内部变量 - loop loop作用：记载当前循环中的一些相关信息 loop 常用属性： 1. index 用法：loop.index 作用：记录当前循环的次数，从 1 开始阅读全文

posted @ 2018-11-09 22:24 zengsf 阅读(234) 评论(0) 推荐(0)

Templates中的标签if

摘要：1.什么是标签每个标签标示的是不同的服务器端的功能 2.常用标签 1. if 标签 1.基本if结构 {% if 条件 %} % endif %} 2.if ... else ... 结构 {% if 条件 %} 满足条件时要运行的代码 {% else %} 不满足条件时要运行的代码 {% end 阅读全文

posted @ 2018-11-08 23:59 zengsf 阅读(415) 评论(0) 推荐(0)

Flask中的Templates

摘要：1.什么是模板模板，在Flask 中就是允许响应给用户看的网页在模板中，允许包含"占位变量"来表示动态的内容模板最终也会被解析成字符串再响应给客户端，这一过程通常称为"渲染" Flask中的模板是依赖于 Jinja2 的模板系统 2.模板的设置默认情况下，Flask会在程序文件夹中的 t 阅读全文

posted @ 2018-11-08 23:51 zengsf 阅读(996) 评论(0) 推荐(0)

Flask中的route

摘要：1. route的定义：客户端发送请求给web服务器，web服务器再将请求发送给Flask程序实例程序实例需要知道每个url请求所对应的运行代码是谁。所以程序中必须要创建一个 url 请求地址到 python运行函数的一个映射。处理url和函数之间的关系的程序就是"路由" 2.路由的体现在阅读全文

posted @ 2018-11-08 22:51 zengsf 阅读(5922) 评论(0) 推荐(0)

flask的安装

摘要：1.查看已安装的Flask版本在 python 的交互模式中： 1. import flask 没报错：已经安装了Flask，可以继续查看版本报错：没安装Flask 2. flask.__version__ 已安装Flask的情况下，可以查看安装的版本 2.安装Flask sudo pip3 阅读全文

posted @ 2018-11-08 22:32 zengsf 阅读(235) 评论(0) 推荐(0)

SQLAlchemy中表结构的一对多

摘要：输出结果：阅读全文

posted @ 2018-11-03 11:20 zengsf 阅读(335) 评论(0) 推荐(0)

SQLAlchemy中表结构的一对一

摘要：1.先导入相对应的库 2.先创建两个数据库类，例如创建LOL与DATA2这两个类 LOL与DOTA2表进行外键关联，DOTA2都有一个lol_id字段。 3.上面这些还没有完成创建数据库，还需要有数据库的创建 4.接着先往两张表里添加数据，在浏览器中运行指定的路径就可以添加数据。 5.数据添加成功之阅读全文

posted @ 2018-11-02 20:30 zengsf 阅读(270) 评论(0) 推荐(0)

flask连接mysql数据库

摘要：from flask import Flask from flask_sqlalchemy import SQLAlchemy import pymysql pymysql.install_as_MySQLdb() app = Flask(__name__) app.config["SQLALCHEMY_DATABASE_URI"] = "mysql://root:zengsf@localho... 阅读全文

posted @ 2018-11-01 11:08 zengsf 阅读(521) 评论(0) 推荐(0)

获取列表中的最大的N项和最小的N项

摘要：获取列表中的最大的N项和最小的N项输出结果：阅读全文

posted @ 2018-11-01 09:17 zengsf 阅读(197) 评论(0) 推荐(0)

11 2018 档案

导航