python 字典列表/列表套字典 去重重复的字典数据
摘要:原文引自:https://blog.csdn.net/weixin_37994148/article/details/99731818 第一种 def deleteDuplicate(li): func = lambda x, y: x if y in x else x + [y] li = red
阅读全文
Python-使用unrar库时Couldn't find path to unrar library的解决办法
摘要:原文引自:https://www.cnblogs.com/sch01ar/p/8687517.html 在Pycharm安装完unrar后,还要安装rar官方的库 不然运行的时候会抛出Couldn't find path to unrar library的错误 Windows: 下载rarlib的库
阅读全文
scrapy shell的使用
摘要:安装IPython pip install IPython==2.4.1 使用方法: scrapy shell http://www.itcast.cn/channel/teacher.shtml response.url:当前响应的url地址response.request.url:当前响应对应的
阅读全文
logging.basicConfig配置文件
摘要:import sys, logging logging.basicConfig(level=logging.INFO, # 日志等级 # filename: 指定日志文件名 format='levelname:%(levelname)s filename: %(filename)s ' 'outpu
阅读全文
scrapy框架--?乱码unicode
摘要:安装 pip install scrapy 建立一个爬虫项目 scrapy startproject 项目名称 scrapy startproject itcast 进入itcast文件夹 生成一个爬虫 scrapy genspider 爬虫名称 "爬虫范围" scrapy genspider it
阅读全文
爬虫-selenium的使用
摘要:安装 开始 报错 原因:没有安装chromedriver chromedriver下载地址:https://chromedriver.storage.googleapis.com/index.html 解压缩 把文件夹移动到/usr/bin目录下 测试是否成功 继续运行代码,成功 selenium用
阅读全文
爬虫-步骤
摘要:### xpath的包含- `//div[contains(@class,'i')]`### 实现爬虫的套路- 准备url - 准备start_url - url地址规律不明显,总数不确定 - 通过代码提取下一页的url - xpath - 寻找url地址,部分参数在当前的响应中(比如,当前页码数和
阅读全文
xpath用发
摘要:xpath的更多语法: https://docs.microsoft.com/zh-cn/previous-versions/dotnet/netframework-2.0/ms256039(v=vs.80)?redirectedfrom=MSDN 注意: 使用xpath helper或者chrom
阅读全文
爬虫-数据提取
摘要:数据分类 非结构化数据:html等 处理方法:正则表达式,xpath 结构化数据:json,xml 处理方法:转化位python数据类型 JSONView的使用: 安装JSONView插件 下载插件,拖入chrome://extensions/这个网页里就可以用了 美化输出-格式化pprint 结果
阅读全文
爬虫-retrying用法
摘要:文档:https://pypi.org/project/retrying/ 安装 设置最大重试次数
阅读全文
文件安装方法
摘要:安装 1.pip安装 2.下载源码,进入解压后的目录 3.****.whl格式安装方法 pip install fdfs_client-py-master.zip
阅读全文
爬虫-requests用法
摘要:中文文档 API: http://requests.kennethreitz.org/zh_CN/latest/ 安装 pip install requests 获取网页 # coding=utf-8 import requests response = requests.get('http://w
阅读全文
http和https
摘要:HTTP 明文传输(不安全) 超文本传输协议 默认端口号:80 HTTPS 多了加密和解密过程,但是时间耗费的长 HTTP + SSL(安全套接字层) 默认端口号:443 HTTPS比HTTP更安全,但是性能更低
阅读全文
django-评论
摘要:视图函数views.py 模板order_comment.html中 详情页面detail.html中
阅读全文
django-支付宝支付
摘要:安装python-alipay-sdk 配置 视图函数orders/views.py 配置路由urls.py 用户订单页面user_center_order.html 点击去付款,报错 查找原因 视图函数中Alipay{}中 OK,解决问题,继续 让网站知道已经支付成功 视图函数views.py中添
阅读全文
django-用户中心订单页面
摘要:提交订单页面place_order.html,创建订单成功后跳转到用户订单页面 用户订单得试图函数user/views.py 用户订单静态页面user_center_order.html
阅读全文
阿里支付
摘要:阿里:https://openhome.alipay.com/platform/home.htm 支付宝支付 支付宝开放平台登录 使用已有的支付宝账号即可 https://open.alipay.com/platform/home.htm 关于沙箱环境(开发模拟环境) https://docs.op
阅读全文
django-订单并发处理--悲观锁和乐观锁
摘要:冲突比较少的时候,使用乐观锁。 冲突比较多的时候,使用悲观锁。 (1) 悲观锁 select * from df_goods_sku where id=17 for update; 悲观锁获取数据时对数据行了锁定,其他事务要想获取锁,必须等原事务结束。 视图函数views.py (2) 乐观锁 查询
阅读全文