04 2020 档案
摘要：虚拟环境可以搭建独立的Python运行环境，使得单个项目的运行环境与其他项目互不影响。 安装 虚拟环境需要用到的库是virtualenv，需要使用安装命令pip install virtualenv进行安装 安装完成之后，便可以直接创建虚拟环境了，使用命令“virtualenv env1"进行创建
阅读全文
摘要：使用for指令可以实现循环 使用wx:for标签 index和item默认表示索引和value wxml: <text>商品列表信息</text> <view wx:for="{{dataList}}"> 索引:{{index}} - 内容:{{item}} </view> <text>商品列表信息
阅读全文
摘要：注意：图片目前只是上传到了内存 使用 wx.chooseImage({ count: 6, sizeType: ['original', 'compressed'], sourceType: ['album', 'camera'], …… 样式： wxml: <view bindtap="uploa
阅读全文
摘要：推荐使用： wx.chooseLocation({ success: function (res) { console.log(res) //获取位置 that.setData({ localPath: res.address}); }, }); 样图： 实现： wxml： <view class=
阅读全文
摘要：注意事项： 想要获取用户信息，必须经过用户授权（button）。 已授权 不授权，通过调用wx.openSetting // 打开配置，手动授权。 // wx.openSetting({}) 官方推荐使用 <button class="confirm-btn" open-type="getUserI
阅读全文
摘要：页面跳转 页面跳转分tabber页跳转和非tabber页跳转 非tabber页跳转： 1.使用标签 <navigator url="/pages/redirect/redirect?id=666">通过标签跳转到新页面</navigator> 传递参数id=666 redirect： Page({
阅读全文
摘要：flex布局简介 微信小程序页面布局方式采用的是Flex布局。Flex布局，是W3c在2009年提出的一种新的方案，可以简便，完整，响应式的实现各种页面布局。Flex布局提供了元素在容器中的对齐，方向以及顺序，甚至他们可以是动态的或者不确定的大小的。 样式设置为 display:flex: 采用 F
阅读全文
摘要：WXSS (WeiXin Style Sheets)是一套样式语言，用于描述 WXML 的组件样式。 WXSS 用来决定 WXML 的组件应该怎么显示。 WXSS 具有 CSS 大部分特性，与 CSS 相比，WXSS 扩展的特性有： 尺寸单位 样式导入 举例： /* pages/my/my.wxss
阅读全文
摘要：全局配置 1.app.js 定义全局数据和全局函数 定义内容解释： onLanuch 当小程序初始化完成时，会触发 onLaunch（全局只触发一次） onShow 当小程序启动，或从后台进入前台显示，会触发 onShow onHide 当小程序从前台进入后台，会触发 onHide onError
阅读全文
摘要：小程序环境搭建 1.申请一个微信公众平台 2.保存自己的appid appid = wx1a3fac0e7xxxxx 3 下载开发者工具 4 创建项目
阅读全文
摘要：spider文件 继承RedisCrawlSpider，实现全站爬取数据 import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from h
阅读全文
摘要：重写父类中的一个方法（start_requests）：该方法默认可以对start_urls列表中的元素进行get请求的发送 1.将Request方法中method参数赋值成post2.FormRequest()可以发起post请求（推荐）实例：发送post请求抓取百度翻译spider文件 impor
阅读全文
摘要：准备flask项目 flask_demo flask_demo1 准备uwsgi uWSGI 一个基于自有的uwsgi协议、WSGI协议和http服务协议的web网关 安装 pip install uwsgi uwsgi配置1 [uwsgi] #源码目录 chdir=/home/ubuntu/dat
阅读全文
摘要：申请SSL证书 在腾讯云申请 申请成功后下载到本地，上传到服务器上 nginx配置 假设项目名称为flask_demo vim /etc/nginx/nginx.conf http { include /etc/nginx/mime.types; default_type application/o
阅读全文
摘要：分布式爬虫 搭建一个分布式的集群，让其对一组资源进行分布联合爬取，提升爬取效率 如何实现分布式 1.scrapy框架是否可以自己实现分布式？ 不可以！！！ 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同
阅读全文
摘要：安装chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 安装依赖库 安装必要的库 yum install mesa-libOSMesa-devel gnu-free
阅读全文
摘要：sudo是Linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部root命令的一个工具。Linux系统下，为了安全，一般来说我们操作都是在普通用户下操作，但是有时候普通用户需要使用root权限，比如在安装软件的时候。这个时候如果我们切回root用户下效率就会比较低，所以用sudo命令就会
阅读全文
摘要：增量式爬虫 监测网站数据更新的情况,只会爬取网站最新更新出来的数据。 需求： 爬取某个电影网站，然后把电影的名称和简介进行持久化存储 实现思路 指定一个起始url 基于CrawISpider获取其他页码链接 基于Rule将其他页码链接进行请求 从每一个页码对应的页面源码中解析出每一个电影详情页的UR
阅读全文
摘要：查看数据盘挂载情况 df -h 从图中查看，目前只有一块硬盘 查看磁盘分区 fdisk -l 对比Disk /dev/vda，vda下面有一个Device /dev/vda1，vdb少了一个Device。 说明数据盘是有的，只不过现在没有分区，还无法使用，所以接下来我们就要对它进行分区。 格式化分区
阅读全文
摘要：CrawlSpider Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。 它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页， 而CrawlSpider类定义了一些规则(rule)来提供跟进link的方便的机制，从爬取的网页中获取link
阅读全文
摘要：案例分析： 需求：爬取网易新闻的国内板块下的新闻数据 需求分析：当点击国内超链进入国内对应的页面时，会发现当前页面展示的新闻数据是被动态加载出来的，如果直接通过程序对url进行请求，是获取不到动态加载出的新闻数据的。则就需要我们使用selenium实例化一个浏览器对象，在该对象中进行url的请求，获
阅读全文
摘要：Failed to read HKLM\SOFTWARE\Policies\Google\Chrome\MachineLevelUserCloudPol 解决 通过管理员命令方式运行如下命令即可解决： 命令行提权运行「reg add HKLM\SOFTWARE\Policies\Google\Chr
阅读全文
摘要：需求:爬取站长素材中的高清图片 一.数据解析（图片的地址) 通过xpath解析出图片src的属性值。只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 class ImgSpider(scrapy.Spider): name = 'im
阅读全文
摘要：scrapy五大核心组件简介 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址
阅读全文
