05 2020 档案
摘要:简介 Scrapyd是一个服务,用来运行scrapy爬虫 它允许你部署你的scrapy项目以及通过HTTP JSON的方式控制你的爬虫 官方文档: http://scrapyd.readthedocs.org/ 安装 pip install scrapyd 安装完成后,输入scrapyd: 这样sc
阅读全文
摘要:一、下载redis 安装gcc-c++ yum install gcc-c++ 下载redis并解压到指定的目录 官网地址: https://redis.io/download wget http://download.redis.io/releases/redis-6.0.3.tar.gz tar
阅读全文
摘要:一、上传项目,收集静态词源 1.生成requirements.txt文件,执行如下命令 pip freeze > requirements.txt 2.上传django项目 3.安装项目依赖,首先创建虚拟环境 vituralenv rongxingtong # 创建虚拟环境 cd rongxingt
阅读全文
摘要:python装饰器 Python装饰器看起来类似Java中的注解,然而和注解并不相同,不过同样能够实现面向切面编程。 想要理解Python中的装饰器,不得不先理解闭包(closure)这一概念。 闭包 在计算机科学中,闭包(英语:Closure),又称词法闭包(Lexical Closure)或函数
阅读全文
摘要:词云图是文本分析中比较常见的一种可视化手段,将出现频率相对高的词字体相对变大,让重点词,关键词一目了然 主要用到了python的两个库:wordcloud和jieba,直接pip安装即可 jieba主要用于中文分词,wordcloud主要用于统计词频和绘图 jieba分词: import jieba
阅读全文
摘要:前言 aiohttp是一个为Python提供异步HTTP 客户端/服务端编程,基于asyncio(Python用于支持异步编程的标准库)的异步库。 aiohttp强调的是异步并发。提供了对asyncio/await的支持,可以实现单线程并发IO操作。 python异步aiohttp和同步reques
阅读全文
摘要:前言 python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板。 asyncio于Python3.4引入标准库,增加了对异步I/O的支持,asyncio基于事件循环,可以轻
阅读全文
摘要:前言 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码,但是当项目达到一定的规模,频繁创建/销毁进程或者线程是非常消耗资源的,这个时候我们就要编写自己的线程池/进程池,以空间换时间。但从Python3.2开始,标准库为我们提供了conc
阅读全文
摘要:一、上传项目,用gunicorn启动项目 1.生成requirements.txt文件,执行如下命令 pip freeze > requirements.txt 2.上传flask项目 3.安装项目依赖,首先创建虚拟环境 vituralenv flaskEnv # 创建虚拟环境 cd flaskEn
阅读全文
摘要:一、下载安装python3.6.8 1.下载python3.6.8的tar包 wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz 2.解压到指定的目录 tar xf Python-3.6.8.tar.xz -C /opt/
阅读全文
摘要:一、下载安装 Grafana版本:6.7.3 官网下载地址:https://grafana.com/grafana/download 可以下载到本地上传到服务器上,也可以使用wget下载 启动 然后 在浏览器上输入 http://192.168.130.164:3000 输入用户名和密码:默认是用户
阅读全文