摘要:
post请求 在scrapy组件使用post请求需要调用 请求传参 scrapy请求传参 主核心的就是 注意:这里存储的字段一定要与items.py 创建的一致,就是以items.py的字段为主 items.py pipelines.py 在执行时可以 省去--nolog,在setting中配置LO 阅读全文
摘要:
首先下载scrapy模块 这里有惊喜 https://www.cnblogs.com/bobo-zhang/p/10068997.html 创建一个scrapy文件 首先在终端找到一个文件夹 输入 修改setting文件配置 cd 到 spiders文件,在终端创建一个文件 在文件里执行我们的第一个 阅读全文
摘要:
点击这里有惊喜 https://www.cnblogs.com/bobo-zhang/p/9685362.html 安装selenium 使用后,会自动化跳转一个Chrome页面,应进行操作 通过selenium 获取 数据 关于谷歌无头浏览器 什么是无头浏览器?使用后不会弹出页面,也就是没有页面 阅读全文
摘要:
云打码平台 下载生成的DLL文件打开会有说明 import http.client, mimetypes, urllib, json, time, requests ################################################################### 阅读全文
摘要:
回顾 bs4 实例化bs对象,将页面源码数据加载到该对象中 定位标签:find('name',class_='xxx') findall() select() 将标签中的文本内容获取 string text get_text() a['href'] xpath 环境安装: pip install l 阅读全文
摘要:
1.首先需要下载Anaconda3 软件 一,简单使用 在新建的项目中,每一个模块引入时,都会存储在内存中,读取时无先后之分,但是要使模块运行一遍加载到内存中 快捷键: 插入cell: a b 删除: x 执行:shift+enter tab: cell模式切换: y(m->code) m(code 阅读全文
摘要:
git的使用(二) GITHUB 简介 github可以是全世界最大的同性交友网站,其实就是和百度云一个性质。 gitHub于2008年4月10日正式上线,除了git代码仓库托管及基本的 Web管理界面以外,还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱(报表)、代码片段分享(Gist)等 阅读全文
摘要:
openpyxl的简单使用 openpyxl 操作excel的库,只能操作xlxs 文件, xlrd/xlwt这两个库能兼容xls(2003版) 安装 pip install openpyxl如果excel里面有图片,需要安装图片处理模块pip install pillow excel的写入 创建一 阅读全文
摘要:
git 有惊喜 https://blog.51cto.com/wangfeng7399 基础传送门 https://blog.51cto.com/wangfeng7399/2352524 作用:版本控制的工具,进行版本保存修改 工作区 当前工作的地方 缓存区 git add 之后存到的地方就叫缓存区 阅读全文
摘要:
下载uwsgi 基于pip 若是没有下载 yum install -y python2-pip pip install uwsgi 出上面的错 ,安装python的development包 yum install -y python-devel 若少c 文件 输入 第二步 下载django pip 阅读全文