07 2019 档案
摘要：从0开始学爬虫12之使用requests库基本认证 此处我们使用github的token进行简单测试验证
阅读全文
摘要：从0开始学爬虫11之使用requests库下载图片
阅读全文
摘要：urllib库的使用 requests库的简单使用 requests和github api的互动 response响应的常用api
阅读全文
摘要：从0开始学爬虫9之requests库的学习之环境搭建 Requests库的环境搭建 环境：python2.7.9版本 参考文档：http://2.python-requests.org/zh_CN/latest/ httpbin.org可以模拟http服务器，速度较慢，可以按照插件模拟http服务器
阅读全文
摘要：centos7.6_x86_64使用Squid搭建代理服务器让windows上网 windows机器很多站点访问受限，可以在没有限制外网的机器上面搭建代理服务器，其它电脑可以配置代理通过这台不受限制的机器上网Server端配置Squid介绍 Squid是Linux自带的代理软件，与其它代理软件如Ap
阅读全文
摘要：centos7设置rsyslog日志服务集中服务器 环境：centos6.9_x86_64，自带的rsyslog版本是7.4.7，很多配置都不支持，于是进行升级后配置 # 安装新版本的rsyslog程序wget http://rpms.adiscon.com/v8-stable/rsyslog.re
阅读全文
摘要：从0开始学爬虫8使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库 Python使用requests和beautifulsoup4爬取维基百科词条链接并存入数据库 参考文档： https://www.crummy.com/software/BeautifulSoup/
阅读全文
摘要：参考文档： https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ # 安装 beautifulsoup4 (pytools) D:\python\pytools>pip install beautifulsoup4
阅读全文
摘要：# coding=utf-8 import os import sys # 判断是否是root用户 if os.getuid() == 0: pass else: print('当前用户不是root用户，请以root用户执行脚本') sys.exit(1) version = raw_input('请输入您想安装的python版本(2.7/3.5)') if ver...
阅读全文
摘要：python接入微博第三方API之2接入用户登录和微博发布 登录api https://open.weibo.com/wiki/Connect/login https://api.weibo.com/oauth2/authorize?client_id=YOUR_CLIENT_ID&response
阅读全文
摘要：环境准备： 1.注册微博账号 2.注册应用
阅读全文
摘要：python制作简单excel统计报表3之将mysql数据库中的数据导入excel模板并生成统计图 mysql表数据： create database user_grade charset=utf8mb4;use user_grade; SET NAMES utf8mb4;SET FOREIGN_K
阅读全文
摘要：python制作简单excel统计报表2之操作excel的模块openpyxl简单用法 建表语句： CREATE TABLE `score` ( `id` int(11) unsigned NOT NULL AUTO_INCREMENT, `year` int(11) DEFAULT NULL, `
阅读全文
摘要：# coding=utf-8 def open_file(): """使用with打开一个文件""" # 普通操作文件方法 # f = open('./static/hello.txt', 'r', encoding='utf-8') # rest = f.read() # print(rest) # f.close() # with...
阅读全文
摘要：知乎日报爬虫 # 代码运行结果
阅读全文
摘要：当当的数据 spider_dangdang.py 京东的数据爬取 spider_jd.py 一号店的数据爬取 spider_yhd.py 天猫的数据爬取 spider_tmall.py 数据汇总 spider_book_price.py # 程序运行结果
阅读全文
摘要：从0开始学爬虫6比价工具开发1之爬取当当、京东的数据 爬取当当数据 spider_dangdang.py 运行结果： # 爬取京东网站 # 爬取一号店的数据 # 爬取天猫的数据(淘宝需要登录，就改为爬取天猫)
阅读全文
摘要：从0开始学爬虫5之优雅的使用字符串 用%格式化字符串 %格式化基本语法： %[转换标记][宽度[.精度]]转换类型 Format方式格式化字符串 基本语法： [[填充符]对齐方式][符号][#][0][宽度][,][.精确度][转换类型] 字符串格式化举例 04use_str.py # 运行结果
阅读全文
摘要：从0开始学爬虫4之requests基础知识 安装requestspip install requests get请求：可以用浏览器直接访问请求可以携带参数，但是又长度限制请求参数直接放在URL后面 POST请求：不能使用浏览器直接访问对请求参数的长度没有限制可以用来上传文件等需求 requests常
阅读全文
摘要：从0开始学爬虫3之xpath的介绍和使用 Xpath：一种HTML和XML的查询语言，它能在XML和HTML的树状结构中寻找节点 安装xpath: pip install lxml HTML 超文本标记语言(HyperText Mark-up Language)，是一种规范，一种标准，是构成网页文档
阅读全文
摘要：从0开始学爬虫2之json的介绍和使用 Json 一种轻量级的数据交换格式，通用，跨平台 键值对的集合，值的有序列表 类似于python中的dict Json中的键值如果是字符串一定要用双引号 json文件static/book.json Json的常用方法练习use_json.py
阅读全文
摘要：从0开始学爬虫1之环境搭建篇 下载地址https://www.python.org/downloads/ 设置环境变量： 安装pycharm 使用pycharm创建基于python3.6的虚拟环境，即相对独立的开发环境 这时候pytcharm就会去安装一些基础的包 Location: 本地代码存放的
阅读全文
摘要：一、批量安装zabbix客户端 1.拷贝sh脚本和.conf到远程服务器(也可以全量拷贝客户端) ansible all -m copy -a "src=/usr/local/zabbix_agents_3.2.0/scripts/php_status_code.sh dest=/usr/local/zabbix_agents_3.2.0/scripts/ mode=0755" ansibl...
阅读全文
摘要：nginx配置文件 客户端启动脚本
阅读全文