1 2 3 4
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 24 下一页
摘要: 1.4 数据库的安装 作为数据存储的重要部分,数据库同样是必不可少的,数据库可以分为关系型数据库和非关系型数据库。 关系型数据库如 SQLite、MySQL、Oracle、SQL Server、DB2 等,其数据库是以表的形式存储;非关系型数据库如 MongoDB、Redis,它们的存储形式是键值对 阅读全文
posted @ 2020-07-17 12:12 学霸君主 阅读(399) 评论(0) 推荐(0) 编辑
摘要: 1.1 Python 3 的安装 既然要用 Python 3 开发爬虫,那么第一步一定是安装 Python 3。这里会介绍 Windows、Linux 和 Mac 三大平台下的安装过程,相关链接如下: 官方网站:http://python.org 下载地址:https://www.python.or 阅读全文
posted @ 2020-07-17 12:09 学霸君主 阅读(564) 评论(0) 推荐(0) 编辑
摘要: 序一 人类社会已经进入大数据时代,大数据深刻改变着我们的工作和生活。随着互联网、移动互联网、社交网络等的迅猛发展,各种数量庞大、种类繁多、随时随地产生和更新的大数据,蕴含着前所未有的社会价值和商业价值。大数据成为 21 世纪最为重要的经济资源之一。正如马云所言:未来最大的能源不是石油而是大数据。对大 阅读全文
posted @ 2020-07-17 12:07 学霸君主 阅读(439) 评论(0) 推荐(0) 编辑
摘要: Python3 网络爬虫开发实战 本书介绍了如何利用 Python 3 开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识;然后讨论了 urllib、requests 等请求库,Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法;接着通过多个案例 阅读全文
posted @ 2020-07-17 12:06 学霸君主 阅读(1036) 评论(0) 推荐(0) 编辑
摘要: import requests url = 'https://www.sogou.com/web' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like 阅读全文
posted @ 2020-07-17 11:57 学霸君主 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Celery Celery是由Python开发的一个简单、灵活、可靠的处理大量任务的分发系统,它不仅支持实时处理也支持任务调度。 user:用户程序,用于告知celery去执行一个任务。 broker: 存放任务(依赖RabbitMQ或Redis,进行存储) worker:执行任务 celery需要 阅读全文
posted @ 2020-02-13 15:25 学霸君主 阅读(285) 评论(2) 推荐(0) 编辑
摘要: 用yield实现协程 使用yield from实现的协程 async关键字不能和yield一起使用,引入coroutine装饰器来装饰downloader生成器。 await 操作符 后面必须跟一个awaitable对象 (通常用于等待一个会有io操作的任务 ) , 它只能在异步函数 内部使用 。 阅读全文
posted @ 2020-01-02 19:30 学霸君主 阅读(503) 评论(0) 推荐(0) 编辑
摘要: 1.首先配置多个数据库,在settings配置文件中配置以下内容: 2.执行数据库同步指令,将我们的表结构生成到db2这个数据库中 执行完上面的指令之后,你就会发现,db2这个库里面就有了我们的表 3.看看读写分离的情况下,django怎么玩 a.手动写,在views.py文件中写 b.配置自动 在 阅读全文
posted @ 2020-01-02 09:10 学霸君主 阅读(460) 评论(0) 推荐(0) 编辑
摘要: 一 缓存 由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存至内存或者memcache中,5分钟内再有人来访问时,则不再去执行view中的操作,而是直接从内存或者memcache中之 阅读全文
posted @ 2020-01-02 09:07 学霸君主 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 介绍 django debug toolbar 是一组可配置的面板,可显示有关当前请求/响应的各种调试信息,并在单击时显示有关面板内容的更多详细信息。 "github地址" "文档地址" 安装 配置 1. settings.py中 将 debug_toolbar 添加到 INSTALL_APPS 中 阅读全文
posted @ 2020-01-02 09:02 学霸君主 阅读(152) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 24 下一页