摘要: 在慕课网学习并创建了一个简单的爬虫包,爬取百度百科相关词条信息 程序中会用到第三方解析包(BeautifulSoup4),Windows环境下安装命令:pip install BeautifulSoup4 1、新建包 2、新建相关类文件,其中包含有: index.py,包入口类文件; url_man 阅读全文
posted @ 2018-02-01 13:10 MrGaoyi 阅读(216) 评论(0) 推荐(1) 编辑
摘要: 爬取网页异步js渲染的数据,个人想到两种思路: 1、模拟请求得到返回的json数据,解析后爬取需求数据。 2、模拟浏览器加载完成后再正则匹配获取页面需求数据。 下面是第一种方法练习代码,后续学习中。。。 阅读全文
posted @ 2018-01-28 23:55 MrGaoyi 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 接触python不久,也在慕课网学习了一些python相关基础,对于爬虫初步认为是依靠一系列正则获取目标内容数据 于是参照着慕课网上的教学视频,完成了我的第一个python爬虫,鸡冻 >_< 阅读全文
posted @ 2018-01-28 01:19 MrGaoyi 阅读(146) 评论(0) 推荐(0) 编辑
摘要: 前期准备事项: 1、注册GitHub账号,注册地址:https://github.com 2、下载Git for Windows工具,下载地址:http://gitforwindows.org,软件安装什么的,略(下一步。。。) 3、安装完成后运行应用目录下git-bash.exe 配置账号信息: 阅读全文
posted @ 2018-01-16 23:19 MrGaoyi 阅读(122) 评论(0) 推荐(0) 编辑
摘要: 一、安装svn # yum -y install svn 二、查看svn版本信息 # svnserve --version 三、搭建svn版本库(假设项目名称为project) 1、首先创建版本库目录 # mkdir -p /var/svn/project 2、创建版本库 # svnadmin cr 阅读全文
posted @ 2018-01-09 00:10 MrGaoyi 阅读(284) 评论(1) 推荐(1) 编辑