手动爬虫之淘宝笔记本栏（ptyhon3）
摘要：
1.这次爬虫用到了之前封装的Url_ProxyHelper类，源代码如下 2.爬取源代码： 阅读全文
posted @ 2017-07-03 14:07 小明在线 阅读(355) 评论(0) 推荐(0) 编辑
手动爬虫之报头及代理封装类（python3）
摘要：
本人刚刚学习爬虫，见每次都需要添加报头比较繁琐，故将该过程封装为Url_ProxyHelper类，代码如下 测试： 阅读全文
posted @ 2017-07-03 13:25 小明在线 阅读(522) 评论(0) 推荐(0) 编辑
python3连接Mongodb
摘要：
前提条件，安装过Mongondb,并且装一下Robomongo（为了更加直观地看到测试时数据的变化 ） 1.安装PyMySQL pip install pymongo 2.测试 3.结果 阅读全文
posted @ 2017-07-03 10:31 小明在线 阅读(5774) 评论(0) 推荐(0) 编辑
手动爬虫之京东笔记本栏（ptyhon3）
摘要：
1 import urllib.request as ur 2 import urllib.error as ue 3 import re 4 # 目标网址 5 url = 'https://list.jd.com/list.html?cat=670,671,672' 6 # 存放路径 7 save_path = 'E:/workspace/PyCharm/codeSpace/bo... 阅读全文
posted @ 2017-07-02 23:10 小明在线 阅读(331) 评论(0) 推荐(0) 编辑
手动爬虫之流程笔记1(python3)
摘要：
一、引入拓展库 由于刚刚起步学习爬虫，故从urllib库开始 首先引入urllib，这里主要用到urllib中request类 二、设置全局参数 我把它分为三个变量：代理服务器IP、目标网址、存放路径。 三、将爬虫模拟成浏览器访问页面 由于urlopen不支持一些HTTP的高级功能，所以要想达到预期 阅读全文
posted @ 2017-07-02 21:44 小明在线 阅读(256) 评论(0) 推荐(0) 编辑
python3连接外部Mysql
摘要：
前提条件，已经安装过MySQL（比如说以前web开发安装过MySQL） 1.安装PyMySQL pip install PyMySQL 2.测试 3.验证成功 阅读全文
posted @ 2017-06-29 10:46 小明在线 阅读(366) 评论(0) 推荐(0) 编辑
python中pip工具的安装与使用
摘要：
1.在网址https://pip.pypa.io/en/latest/installing 下载get-pip.py文件，放在python更目录，如python3.6目录下 2.在dos命令行中进入get-pip.py目录，输入"get-pip.py" 3.配置环境变量，在PATH中添加E:\wor 阅读全文
posted @ 2017-06-27 11:32 小明在线 阅读(518) 评论(0) 推荐(0) 编辑
在Editplus中Dev C++配置C++的编译运行环境
摘要：
1.首先得下载安装DEV-cpp 2.打开Editplus编辑器，工具->配置自定义工具 3.具体配置 编译C：命令:D:\Dev-Cpp\MinGW64\bin\g++.exe参数:"$(FilePath)" -o "$(FileNameNoExt)"初始目录:$(FileDir)动作:捕捉控制台 阅读全文
posted @ 2017-06-23 10:22 小明在线 阅读(2084) 评论(0) 推荐(0) 编辑
Python IDLE或shell中切换路径
摘要：
在Python自带的编辑器IDLE中或者python shell中不能使用cd命令，那么跳到目标路径呢。方法是使用os包下的相关函数实现路径切换功能。 import os os.getcwd() #获取当前路径 os.chdir("D:\\test") #跳到目标路径下 os.chdir('D:\\ 阅读全文
posted @ 2017-06-22 20:28 小明在线 阅读(3830) 评论(0) 推荐(0) 编辑
idle命令行按ALT+P重复调出上个语句
摘要：
idle命令行按ALT+P重复调出上个语句 阅读全文
posted @ 2017-06-22 20:28 小明在线 阅读(378) 评论(0) 推荐(0) 编辑
