上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 19 下一页
摘要: 一 go操作redis的选择 golang操作redis主要有两个库,go-redis和redigo。 go-redis:star数更多,支持连接哨兵及集群模式的Redis redigo:star数少一些,操作更简单 二 redis安装 2.1 windowd平台安装方案 // 下载地址 // 最新 阅读全文
posted @ 2022-03-18 23:14 刘清政 阅读(715) 评论(0) 推荐(0) 编辑
摘要: 一 介绍和使用 上节我们用了go-sql-driver/mysql库来操作mysql,还有一个更优秀的库sqlx,它也是对标准库database/sql具体的实现,并进行进一步封装和新增了一些方法 1.1 安装和快速链接 go get github.com/jmoiron/sqlx package 阅读全文
posted @ 2022-03-18 23:14 刘清政 阅读(446) 评论(0) 推荐(2) 编辑
摘要: 一 快速使用 Go语言中的database/sql包提供了保证SQL或类SQL数据库的接口,并没有具体的实现。使用database/sql包时必须使用其它数据库驱动,如第三方实现:https://github.com/go-sql-driver/mysql 1.1 下载 go get -u gith 阅读全文
posted @ 2022-03-18 23:13 刘清政 阅读(261) 评论(0) 推荐(0) 编辑
摘要: Flask 0.Flask简介 Flask是一个基于Python开发并且依赖jinja2模板和Werkzeug WSGI服务的一个微型框架,对于Werkzeug本质是Socket服务端,其用于接收http请求并对请求进行预处理,然后触发Flask框架,开发人员基于Flask框架提供的功能对请求进行相 阅读全文
posted @ 2022-03-14 20:44 刘清政 阅读(2771) 评论(0) 推荐(3) 编辑
摘要: SQLAlchemy 1.介绍 SQLAlchemy是一个基于Python实现的ORM框架。该框架建立在 DB API之上,使用关系对象映射进行数据库操作,简言之便是:将类和对象转换成SQL,然后使用数据API执行SQL并获取执行结果。 pip3 install sqlalchemy 组成部分: E 阅读全文
posted @ 2022-03-14 20:43 刘清政 阅读(980) 评论(0) 推荐(2) 编辑
摘要: requests selenium Beautifulsoup4 Scrapy 分布式爬虫 红薯小说破解 破解知乎登陆 下载哔哩哔哩视频 阅读全文
posted @ 2022-03-14 20:40 刘清政 阅读(1911) 评论(0) 推荐(6) 编辑
摘要: 一 寻找任意一个视频地址 例如这个: 拿出窗口中的链接:https://www.bilibili.com/video/av76609390,修改源代码中的url即可完成下载 #由于哔哩哔哩视频音频是分开的,所以下来下来的视频是两个,一个音频,一个视频,要视频和音频合成,可看另一偏博客 二 分析页面 阅读全文
posted @ 2022-03-14 20:38 刘清政 阅读(1033) 评论(0) 推荐(1) 编辑
摘要: 一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文
posted @ 2022-03-14 20:36 刘清政 阅读(511) 评论(0) 推荐(1) 编辑
摘要: 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列(存放Request对象及其回调函数等信息)+本机的去重队列(存放访问过的url地址) 所以实现分布式爬取的关键就是,找一台专门的主机上运行一个共享的队列比如Redis, 然后重写Scrapy的Scheduler,让新的Schedu 阅读全文
posted @ 2022-03-14 20:36 刘清政 阅读(326) 评论(0) 推荐(0) 编辑
摘要: ​ 一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beauti 阅读全文
posted @ 2022-03-14 20:35 刘清政 阅读(377) 评论(0) 推荐(1) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 19 下一页