随笔分类 - python
摘要：记录一下在centos服务器上部署django项目的流程和值得注意的点，以便以后查阅。这里，我已经在windows本地完成了django项目的编写，并能成功运行和访问，项目使用的是Mysql数据库。在centos上，我们准备使用nginx和uwsgi来部署项目。 1.准备工作 服务器上需要先安装ng
阅读全文
摘要：python对CUDA扩展有不错的支持，CUDA通过大量线程的并行化可以大幅提高代码计算速度，一般python常用numba、pycuda套件来支持CUDA扩展。numba通过JIT编译器只需将numba装饰器应用到python函数中即可实现CUDA加速，而pycuda需要基于C/C++编写kern
阅读全文
摘要：Python作为一种动态语言，使用C扩展的主要目的是加快程序的运行速度，一般有三种方式去实现：swig、Python/C API、ctypes，由于swig会增加额外的复杂性，这里只对后两种方式进行简单的介绍。 1.Python/C API Python/C API由于可以在C代码中操作Python
阅读全文
摘要：python对异步编程有原生的支持，即asyncio标准库，使用异步IO模型可以节约大量的IO等待时间，非常适合于爬虫任务。 1.基本用法 2.多进程+协程 如果想进一步加快爬取速度，考虑到python多线程的全局锁限制，可以采用多进程+协程的方案： 可以看出来多进程已经加快了爬取速度，具体加速效果
阅读全文
摘要：RedisQueue是一款轻量级的分布式异步任务队列调度框架，基于redis数据库作为broker，生产端将任务job存储到redis数据库中，消费端监听队列并取出任务执行。 1.基础架构 rq框架使用前需要安装rq库，使用pip安装即可：pip install rq 1.1 生产者 生产者将任务发
阅读全文
摘要：消息队列是一种常用的开发中间件，适用于异步、分布式、解耦合等业务场景中，而RabbitMQ是其中一种常用的消息队列，今天来总结一下RabbitMQ在python端的使用方法。 1.发送接收基础 python一般使用pika库来操作RabbitMQ，需要先用pip安装。 2.完整接口示例
阅读全文
