摘要:
查看pip安装列表 pip3 list python3 m pip3 list // 带版本号 查看路劲 pip3 show 包名 "传送门" 阅读全文
摘要:
1.获取版本codename sudo lsb_release -a 2.确认阿里源支持 传送门地址 注:该网页提供了阿里云支持的ubuntu系统下各个Codename版本 3.备份系统源文件 sudo cp /etc/apt/sources.list /etc/apt/sources.list.b 阅读全文
摘要:
python虚拟环境安装小结 1. 安装python3.6.8 解释器 2. 安装pycharm专业版2018.3.5 3. 搭建虚拟环境 - 工具有很多:virtualenv、virtualenvwrapper、virtualenv-burrito和autoenv,再加上pyvenv、venv(P 阅读全文
摘要:
"传送门" "psutil收集硬件信息模块" 阅读全文
该文被密码保护。 阅读全文
摘要:
```python
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author:Sun
# make_time:2018/8/2
import smtplib
from email.mime.text import MIMEText
from email.utils import formataddr def sendmail_2018(): ... 阅读全文
该文被密码保护。 阅读全文
摘要:
python dbutils 简介及准备工作 "dbutils封装文件传送门" DBUtils是一套Python数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils来自Webware for Python。 DBUtils提供两种外部接口: PersistentDB :提供 阅读全文
摘要:
jq创建标签 var ptag = $('<p>'); jq添加属性如href,id,class,name等 $('#content').attr('class/id/name/href', 'active') $('#id').html('标签的文本') $('#input).val('xxxxx 阅读全文
摘要:
需求 实现登录用户的单聊和群聊功能,一旦有消息,服务器就主动推给所有人或某个人 实现加好友/离线消息处理(还未完成) 设计思路 群聊 前端 1. 用户发http请求获取聊天页面,获取页面dom渲染自动发起websocket连接请求,建立连接 2. 通过jq获取要发送的人,和消息,发送ajax请求 3 阅读全文
摘要:
安装gevent websocket模块 阅读全文
摘要:
"跨域中间件文件" JsonP解决 客户端 1. 通过js代码动态script标签,将请求生成src 2. 定义一个回调函数 服务端 1. 获取到回调函数名 2. 返回数据格式:函数名(数据) CORS CORS即Cross Origin Resource Sharing 跨域资源共享, 那么跨域请 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
摘要:
- 需求:【可以做qq聊天和投票系统】 用户前端需要及时的了解用户需要的信息是否更新,如投票系统,大屏幕需及时的反馈投票变更数 - 分析 想要及时更新屏幕数据,就需要服务器一旦有更新数据就发给用户 - 解决方案 1. 轮询 前端通过js事件setInterval(function, timeout) 阅读全文
该文被密码保护。 阅读全文
摘要:
目的 "ansible官方文档" 项目:代码发布系统 实现功能: 发布代码 前戏 ansible openpyxl 项目的开发 ansible python开发的一款开源工具 批量到执行远程主机命令 安装 yum install ansible y 查看ansible生成的文件 查看ansible生 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
摘要:
1 [root@localhost html]# tree 2 . 3 ├── 50x.html 4 ├── linux 5 │ ├── 404.html 6 │ └── index.html 7 └── python 8 ├── 404.html 9 └── index.html 10 # 多站点 阅读全文
该文被密码保护。 阅读全文
摘要:
subprocess模块 区别:subprocess模块与os.system(cmd)或os.popen(cmd)模块的区别是有返回值,会将报错信息接收 语法:ret_obj = subprocess(cmd, # 预在dos中执行的系统命令 shell=True, # 表示在Windows控制台 阅读全文
摘要:
单表操作: 1.创建 from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String 阅读全文
摘要:
一.Scrapy的日志等级 - 在使用scrapy crawl spiderFileName运行程序时,在终端里打印输出的就是scrapy的日志信息。 - 日志信息的种类: ERROR : 一般错误 WARNING : 警告 INFO : 一般的信息 DEBUG : 调试信息 - 设置日志信息指定输 阅读全文
摘要:
redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以。原因有二。 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器) 其二:多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
摘要:
引入 提问:如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话,有几种实现方法? 方法一:基于Scrapy框架中的Spider的递归爬取进行实现(Request模块递归回调parse方法)。 方法二:基于CrawlSpider的自动爬取进行实现(更加简洁和高效)。 概要 CrawlSpider简 阅读全文
只有注册用户登录后才能阅读该文。 阅读全文
摘要:
概要 scrapy下载中间件 UA池 代理池 详情 一.下载中间件 先祭出框架图: 下载中间件(Downloader Middlewares) 位于scrapy引擎和下载器之间的一层组件。 - 作用: (1)引擎将请求传递给下载器过程中, 下载中间件可以对请求进行一系列处理。比如设置请求的 User 阅读全文
摘要:
概要 递归爬取解析多页页面数据 scrapy核心组件工作流程 scrapy的post请求发送 1.递归爬取解析多页页面数据 - 需求:将糗事百科所有页码的作者和段子内容数据进行爬取切持久化存储 - 需求分析:每一个页面对应一个url,则scrapy工程需要对每一个页码对应的url依次发起请求,然后通 阅读全文