随笔分类 - python
摘要：by 闲欢 之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。 介绍 首先让我们来看 Requests 官方的
阅读全文
摘要：by 极光 今天来为大家介绍 Django 框架的模型部分，模型是真实数据的简单明确的描述，它包含了储存的数据所必要的字段和行为，Django 遵循 DRY Principle 。它的目标是你只需要定义数据模型，然后其它的杂七杂八代码你都不用关心，它们会自动从模型生成。 Django 模型 Djan
阅读全文
摘要：by 极光 今天来为大家介绍 Python 另一个 Web 开发框架 Django，它是一个基于 Python 定制的开源 Web 应用框架，最早源于一个在线新闻 Web 网站，后于2005年开源。Django 的功能大而全，它提供的一站式解决的思路，能让开发者不用在开发之前就在选择应用的基础设施上
阅读全文
摘要：by 太阳雪 用户登录功能是 Web 系统一个基本功能，是为用户提供更好服务的基础，在 Flask 框架中怎么做用户登录功能呢？今天我们学习一下 Flask 的用户登录组件 Flask-Login Python 之所以如此强大和流行，除了本身易于学习和功能丰富之外，最重要的是因为各种类库和组件，可以
阅读全文
摘要：urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块： urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。 urllib.error，用来处理 u
阅读全文
摘要：by 闲欢 作为程序员，相信大家对“爬虫”这个词并不陌生，身边常常会有人提这个词，在不了解它的人眼中，会觉得这个技术很高端很神秘。不用着急，我们的爬虫系列就是带你去揭开它的神秘面纱，探寻它真实的面目。 爬虫是什么 网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的
阅读全文
摘要：by 某某白米饭 Event(事件) Event 是一个事务处理的机制，用于通知多个异步任务某个事件已经发生了。比如在交通红绿灯中多辆在行驶中的汽车可以表示成程序中的多个异步任务，红绿灯的亮起可以表示成一个通知，红灯通知这个汽车的行驶任务必须停止了，绿灯通知这个汽车的行驶任务可以继续驾驶了。 Eve
阅读全文
摘要：by 豆豆 大家都知道当任务过多，任务量过大时如果想提高效率的一个最简单的方法就是用多线程去处理，比如爬取上万个网页中的特定数据，以及将爬取数据和清洗数据的工作交给不同的线程去处理，也就是生产者消费者模式，都是典型的多线程使用场景。 那是不是意味着线程数量越多，程序的执行效率就越快呢。 显然不是。线
阅读全文
摘要：by 千阳 本节主要介绍 multiprocessing 多进程模块，由于 threading 多线程模块无法充分利用电脑的多核优势，而在实际开发中会对系统性能有较高的要求，就需要使用多进程来充分利用多核 cpu 的资源，下面详细介绍 Python 中的 multiprocessing。 multi
阅读全文
摘要：by 豆豆 Python Queue 入门 Queue 简介 Queue 叫队列，是数据结构中的一种，基本上所有成熟的编程语言都内置了对 Queue 的支持。 Python 中的 Queue 模块实现了多生产者和多消费者模型，当需要在多线程编程中非常实用。而且该模块中的 Queue 类实现了锁原语，
阅读全文
摘要：by 豆豆 上一篇文章简单介绍了 Queue 的入门操作，今天我们学习下 Queue 的进阶用法。 生产者消费者模型 在并发编程中，比如爬虫，有的线程负责爬取数据，有的线程负责对爬取到的数据做处理（清洗、分类和入库）。假如他们是直接交互的，那么当二者的速度不匹配时势必出现等待现象，这也就产生了资源的
阅读全文
摘要：by 程序员野客 在之前的文章中，我们已经介绍了 Python 通过 _thread 和 threading 模块提供了对多线程的支持，threading 模块兼具了 _thread 模块的现有功能，又扩展了一些新的功能，具有十分丰富的线程操作功能，本节我们就来详细学习一下 threading 模块
阅读全文
摘要：by 程序员野客 我们知道，多线程与单线程相比，可以提高 CPU 利用率，加快程序的响应速度。 单线程是按顺序执行的，比如用单线程执行如下操作： 6秒读取文件1 9秒处理文件1 5秒读取文件2 8秒处理文件2 总共用时 28 秒，如果开启两条线程来执行上面的操作（假设处理器为多核 CPU），如下所示
阅读全文
摘要：by 太阳雪 现在单页 Web 项目很流行，使用各种 Js 框架，通过 Ajax 和服务器的 Api 进行交互，实现类似原生 app 效果，很酷，对 Flask 来说小菜一碟，是时候了解下 Flask-RESTful 了 开始前先了解下 RESTful，阮一峰老师有这样的解释: 网络应用程序，分为前
阅读全文
摘要：by 太阳雪 Web 应用离不开数据存储，今天就来学习下 Flask 中如何与数据库交互，最后我们将做一个提交的实例 Flask 中最方便用的数据库框架是 flask_sqlalchamy，是对 SQLAlchamy 在 Flask 中的扩展， SQLAlchemy 是一个 Python 数据库工具
阅读全文
摘要：by 太阳雪 在了解了 Flask Bootstrap 基本框架之后，我们来了解一下 Flask 框架的 表单( form )，以帮助我们创建交互式的 Web 应用，最后会有个提交个人信息的例子。 Flask-WTF 是 Flask 框架的一个扩展，用来做表单的交互，是对 WTForms 的集成，默
阅读全文
摘要：by 太阳雪 前面学习了 Flask 框架的基本用法，以及模板引擎 Jinja2，按理说可以开始自己的 Web 之旅了，不过在启程之前，还有个重要的武器需要了解一下，就是著名的 Bootstrap 框架和 Flask 的结合，这将大大提高开发 Web 应用的效率。 简介 Bootstrap 是 Tw
阅读全文
摘要：by 千阳 本节主要介绍两个 Python 中常用于比较数据的模块，一个是 filecmp 模块，另一个是 difflib 模块。其中，前者主要用于比较文件及目录，后者主要用于比较序列的类和函数，下面具体介绍两者的区别。 filecmp 模块 filecmp 模块作为 Python 提供的标准库之一
阅读全文
摘要：by 某某白米饭 paramiko 模块 paramiko 是一个用 Python 语言编写的、遵循 SSH2 协议、支持以加密和认证方式进行连接远程服务器的模块。改模块可以对远程服务器进行一些命令或文件操作。 安装 使用 pip3 安装 paramiko 模块 pip3 install param
阅读全文
摘要：by 某某白米饭 operator 模块 operator 模块提供了一套与 Python 的内置运算符对应的高效率函数。 函数的种类 函数包含的种类有：对象的比较运算、逻辑运算、数学运算和序列运算 比较运算 运算 函数 语法 小于 lt(a, b) a < b 小于等于 le(a, b) a ⇐
阅读全文