柳帅 - 博客园

2019年3月5日

摘要：一安装 1 安装目录下新建文件夹data,etc,logs 2 etc文件夹中新建mongodb.conf配置文件 3 配置服务 mongod.exe --config "D:\MongoDB\etc" --install --serviceName "MongoDB" 二数据库操作创建库/切阅读全文

posted @ 2019-03-05 20:46 柳帅阅读(534) 评论(0) 推荐(0) 编辑

爬虫系列课件链接

摘要：晓波老师爬虫课件 01 Python网络爬虫第一弹《Python网络爬虫相关基础概念》 02 Python网络爬虫第二弹《http和https协议》 03 Python网络爬虫之requests模块（1） 04.Python网络爬虫之三种数据解析方式 05 Python网络爬虫之requests模块阅读全文

posted @ 2019-03-05 19:20 柳帅阅读(1308) 评论(0) 推荐(0) 编辑

爬虫系列----scrapy爬取网页初始

摘要：一基本流程 ***在pycharm中启动设置方法二 spider反反爬配置 robot.txt UA伪装三基本命令汇总四存储基于终端指令的持久化存储(只会将parse函数返回值进行本地持久化存储) 基于终端指令的持久化存储(只会将parse函数返回值进行本地持久化存储) 命令: scr 阅读全文

posted @ 2019-03-05 11:25 柳帅阅读(559) 评论(0) 推荐(0) 编辑

2019年3月4日

django 视图模式

摘要：一视图二请求方式 get post put/patch delete head option 三基于CBV的简单演示实例 urls.py views.py文件 login.html 四 from django.views import View 源码解析 1 步骤一执行urls.py中的阅读全文

posted @ 2019-03-04 23:13 柳帅阅读(272) 评论(0) 推荐(0) 编辑

2019年2月28日

爬虫系列 --- 反爬机制和破解方法汇总

摘要：反爬机制和破解方法汇总一什么是爬虫和反爬虫？爬虫：使用任何技术手段，批量获取网站信息的一种方式。反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。二 Headers and referer 反爬机制 *headers进行反爬是最常见的反爬虫策略。 *还有一些网站会对 Refe 阅读全文

posted @ 2019-02-28 16:05 柳帅阅读(16464) 评论(0) 推荐(0) 编辑

2019年2月27日

爬虫系列---多线程爬取实例

摘要： 1.爬取站长图片源码 2 爬取妹子网图片(https://www.mzitu.com/tag/ugirls/) !!!384张美图等你拿阅读全文

posted @ 2019-02-27 21:54 柳帅阅读(1158) 评论(0) 推荐(0) 编辑

爬虫系列---selenium详解

摘要：一安装二安装驱动 chrome驱动文件:点击下载chromedriver (yueyu下载) 三配置chromedrive的路径(仅添加环境变量即可) 我的电脑–>属性–>系统设置–>高级–>环境变量–>系统变量–>Path，将“F:\GeckoDriver”目录添加到Path的值中。比如：阅读全文

posted @ 2019-02-27 20:01 柳帅阅读(4929) 评论(0) 推荐(0) 编辑

2019年2月26日

爬虫系列二(数据清洗--->bs4解析数据)

摘要：一 BeautifulSoup解析 1 环境安装 2 基础解析爬取三国演义书籍阅读全文

posted @ 2019-02-26 16:17 柳帅阅读(1450) 评论(0) 推荐(0) 编辑

爬虫系列二(数据清洗--->xpath解析数据)

摘要：一 xpath介绍 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准二 xp 阅读全文

posted @ 2019-02-26 15:53 柳帅阅读(987) 评论(0) 推荐(0) 编辑

爬虫系列二(数据清洗--->正则表达式)

摘要：一正则常识 \s 二 pythoon正则中的常见方法三修饰符总结四爬虫正则解析数据实例(源码) 阅读全文

posted @ 2019-02-26 15:28 柳帅阅读(1550) 评论(0) 推荐(0) 编辑

柳帅

搏一搏

公告