12_4DataFrame和matplotlib模块
摘要：一。Dataframe的分组。 再网页表格数据 的分析中，可以使用以下语句进行爬取表格。 res = pd.read_html('https://baike.baidu.com/item/NBA%E6%80%BB%E5%86%A0%E5%86%9B/2173192?fr=aladdin') ###
阅读全文
摘要：一。索引与切片。 nump的索引和python中的索引差不多，都是左开右闭区间。 如一个普通的array的索引，是由0开始的： res = np.array([1,2,3,4,5]) #### nparray索引是从0开始 res[1] 2 一个二维数组的索引有两种 res = np.array([
阅读全文
摘要：1.numpy 在python中，数据分析可以使用numpy。 首先可以安装ipython解释器，在终端，代码变得可视化，界面有高亮显示： pip Install ipython 除了可以在终端编程之外，还可以安装anaconda软件，该软件包含了数据分析的基础包，包括jupyter等和其他可是换数
阅读全文
摘要：一。数据存储到mongodb 爬取的数据如果需要存储到mongodb中，要通过item，定义一个存储类。再yield一个类。 数据存储的时候需要进过pipelines，再到setting中配置。 from pymongo import MongoClient class ArticleMongodb
阅读全文
摘要：一。mongodb mongodb是一个面向文档的数据库，而不是关系型数据库。不采用关系型是为了获得更好的扩展性。 它与mysql的区别在于它没有表连接，但是可以通过其他办法实现。 安装数据库。 上官网下载社区版，并且使用robt。 有错误参考博客https://www.cnblogs.com/TM
阅读全文
摘要：一。selenium selenium+chromedriver chrom有界面浏览器下载文件放在根目录 国内镜像网站地址：http://npm.taobao.org/mirrors/chromedriver/2.38/ 最新的版本去官网找:https://sites.google.com/a/c
阅读全文
摘要：一。使用json 正常的，如果需要将response结果序列化，需要将结果json.loads res1=json.loads(response.text) 但是这样会很麻烦，request提供了json方法： res2=response.json() #直接获取json数据 二。SSL认证 ssl
阅读全文
摘要：一。自定义命令。 在flask中也可以将应用改写成可以使用命令的形式，需要用到模块： pip install flask-script 使用关键字manage使得其能使用终端启动： from flask import Flask from flask_script import Manager ap
阅读全文
摘要：一。local 在线程的处理中，常常遇到这样的问题。当一系列线程遇到io操作的时候，就会执行其他线程，这时候就会出现数据冲突，发生数据方面的问题： from threading import Thread import time cxw = -1 def task(arg): global cxw
阅读全文
摘要：一。路由与正则。 1.当函数中需要参数，而不在路由中匹配的时候需要使用default方法： @app.route('/index/<testreg("\d+"):nid>/',defaults={'testname':'lzx'}) 2。如果要路由进入严格匹配模式，需要使用关键字段： strict_
阅读全文
摘要：一。flask的形成。 flask是一个基于python并且以来jinja2模板和werkzeug wsgi服务器的一个微型框架。 安装了flask模块就代表安装了wekzeug，所以先安装flask. pip install flask 而werkzeug 的使用可以参考下面： from wsgi
阅读全文
摘要：一。事务的隔离级别。 mysql的默认数据库级别是可重复读，一般的应用使用的是读已提交 http://www.zsythink.net/archives/1233/ 1. Read UnCommitted(读未提交) 最低的隔离级别。一个事务可以读取另一个事务并未提交的更新结果。 2. Read C
阅读全文
摘要：一。登录接口。 官方文档https://developers.weixin.qq.com/miniprogram/dev/framework/open-ability/login.html 在登录接口中，有以下步骤： 1.通过微信函数wx获取code，request到后端。 2.获取开发者的appi
阅读全文
摘要：1.缓存 当一些数据需要固定地且频繁访问数据库时，需要使用到接口缓存。 以轮播图为例，每个用户都会访问首页，首页的轮播图长时间不会改变，所以可以使用cache,将固定数据保存到缓存中（redis），第二次调用数据库的时候，就可以从缓存中调用数据，使得并发量增加，保护数据库。 但是一直访问缓存，数据库
阅读全文
摘要：一。启动redis 在启动redis中可以持续的启动redis服务端，启动的服务端即使被关掉也不会停止服务： >: redis-server & 在客户端连接刚刚启动的redis服务端: >: redis-cli -h localhost -p 6379 -n 数据库编号(0~15) 连接成功后切换
阅读全文
摘要：一。偏移分页器。 在偏移分页器中，limit代表的是一次性显示的条数，而offset代表的是他基于开头的偏移量。 from rest_framework.pagination import LimitOffsetPagination class MyLimitOffsetPagination(Lim
阅读全文
摘要：一。签发token的原理 当认证类authentication_classes是JSONWebTokenAuthentication时，其父类JSONWebTokenAPIView只有post 方法，所以需要用post提交。接受有username、password的post请求。 post方法将请求
阅读全文
