Loading

摘要: 今日内容 1.安装与配置 2.创建项目 # scrapy scrapy startproject 项目名 #创建项目 scrapy genspider 文件名 baidu.com #创建爬虫 #运行 scrapy crawl 文件名 scrapy crawl 文件名 --nolog #运行命令 no 阅读全文
posted @ 2020-09-29 21:41 就学45分钟 阅读(144) 评论(0) 推荐(0) 编辑
摘要: 学习mongdb mongdb 命令 #mongdb 命令 //查看数据库 只可以查看非空的库 show dbs //创建数据库 use ku //查看当前工作的库 db //插入一条数据 db.score.insert({'name':'水果'}) //查看表 show tables //查询数据 阅读全文
posted @ 2020-09-29 21:32 就学45分钟 阅读(162) 评论(0) 推荐(0) 编辑
摘要: 多线程爬虫 今日内容 1. 并发与并行(**) 2. 多线程导致数据的不安全(**) --> 理解不了, 那就记住结论(多线程共同操作数据会导致数据不安全) 3. 多线程爬虫架构(*****) 4. 多线程爬虫的代码(*****) 1.并发与并行 1.并发: 在同一时间段内, 所有任务同时运行. 2 阅读全文
posted @ 2020-09-29 21:28 就学45分钟 阅读(281) 评论(0) 推荐(0) 编辑
摘要: ###BeautifulSoup 1.BeautifulSoup库介绍(了解) # BeautifulSoup库介绍: BeautifulSoup也是一个解析库 BS解析数据是依赖解析器的, BS支持的解析器有html.parser, lxml, xml, html5lib等, 其中lxml解析器解 阅读全文
posted @ 2020-09-29 21:26 就学45分钟 阅读(133) 评论(0) 推荐(0) 编辑
摘要: lxml库 #编码流程 #导包 from lxml import etree #请求 res=requests.get() #解析的是一个html文件 #实例化,加载响应数据 tree=etree.HTML(res.text) #etree 加载的是响应数据的文本形式 #调用xpath解析数据 获取 阅读全文
posted @ 2020-09-29 21:19 就学45分钟 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 1.requests模块发送post请求 #代码示例 编写一个小翻译器 # 导包 import requests def translate(kw): # 缺定url 发起请求 获取响应 url = 'https://fanyi.baidu.com/sug' data = { "kw":kw } # 阅读全文
posted @ 2020-09-29 21:07 就学45分钟 阅读(313) 评论(0) 推荐(0) 编辑
摘要: open (文件名,访问模式) 示例如下: f = open("1.txt","w") r 以读方式打开文件,文件的指针将会放在文件的开头,这是默认模式 w 打开一个文件夹用于写入,如果该文件已存在则将其覆盖,如果该文加不存在,创建文件夹 a 打开一个文件夹用于追加,如果该文件已存在,文件指针将会放 阅读全文
posted @ 2020-09-29 21:00 就学45分钟 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 爬虫 1、爬虫的概念 什么是爬虫 爬虫:网络爬虫机器人,从互联网自动抓取数据的程序 爬虫分类 通用爬虫 通用网络爬虫:是捜索引擎抓取系统(Baidu、Google、Yahoo等)的重要组成部分。主要目的是将互联网上的网页下载到本地,形成一个互联网内容的镜像备份。 工作原理: 聚焦爬虫 聚焦爬虫:聚焦 阅读全文
posted @ 2020-09-29 20:57 就学45分钟 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 虚拟环境 一、为什么安装虚拟环境 问题: 如果在一台电脑上, 想开发多个不同的项目, 需要用到同一个包的不同版本, 如果使用上面的命令, 在同一个目录下安装或者更新, 新版本会覆盖以前的版本, 其它的项目就无法运行了. 解决办法: 虚拟环境 虚拟环境可以搭建独立的python运行环境, 使得单个项目 阅读全文
posted @ 2020-09-29 20:54 就学45分钟 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 偷偷告诉你 点击图片放大哦~~ 想要熟悉实验楼各个模块,可以通过官方:https://www.lanqiao.cn/courses/ 阅读全文
posted @ 2020-09-29 20:02 就学45分钟 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 可以帮助你梳理一下实验楼项目所需要的流程 阅读全文
posted @ 2020-09-29 16:37 就学45分钟 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 1.创建一个Login.vue页面 1.1 写页面 components/Login.vue 在 src/components 下创建 Login.vue 页面 <template> <div> 测试axios-{{title}} </div> </template> <script> import 阅读全文
posted @ 2020-09-29 15:37 就学45分钟 阅读(3631) 评论(0) 推荐(0) 编辑
摘要: 1.登录接口测试 1.1 user/usrs.py 中配置路由 urlpatterns = [ path('login/', views.login), ] 1.2 user/views.py 中写一个login视图函数 from django.http import JsonResponse im 阅读全文
posted @ 2020-09-29 15:04 就学45分钟 阅读(832) 评论(0) 推荐(0) 编辑
摘要: 1.跨域配置 django cors设置 #1.安装包 pip install django-cors-headers #2.注册应用 INSTALLED_APPS = [ '''添加django-cors-headers 使其可以进行 cors跨域''' 'corsheaders', ] #3.添 阅读全文
posted @ 2020-09-29 07:59 就学45分钟 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 参考掘金:https://juejin.im/post/6844903652881072141#heading-8 1.初始化Vue项目 参考博客 :https://www.cnblogs.com/xiaonq/p/11027880.html #使用脚手架创建vue项目 deaxios是项目名,随便 阅读全文
posted @ 2020-09-29 07:12 就学45分钟 阅读(2127) 评论(1) 推荐(1) 编辑