摘要: 一、伪装浏览器 对于一些需要登录的网站,如果不是从浏览器发出的请求,则得不到响应。所以,我们需要将爬虫程序发出的请求伪装成浏览器正规军。具体实现:自定义网页请求报头。 二、使用Fiddler查看请求和响应报头 打开工具Fiddler,然后再浏览器访问“https://www.douban.com/” 阅读全文
posted @ 2017-09-04 11:29 追梦的独行者 阅读(1248) 评论(0) 推荐(0) 编辑
摘要: 爬虫之前 在着手写爬虫之前,要先把其需要的知识线路理清楚。 第一:了解相关Http协议知识 HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。它的发展是万维网协会(World Wide Web Consortium)和Internet工作小组IETF(Int 阅读全文
posted @ 2017-09-04 11:18 追梦的独行者 阅读(10579) 评论(0) 推荐(0) 编辑
摘要: 1、安装命令: pip install builtwith 如果在命令行提示如下错误: Fatal error in launcher: Unable to create process using ‘"‘ 使用如下命令: python3 -m pip install builtwith 2、导入模 阅读全文
posted @ 2017-09-04 10:18 追梦的独行者 阅读(349) 评论(0) 推荐(0) 编辑
摘要: Package Control 安装方法 1.通过快捷键 ctrl+` 或者 View > Show Console 打开控制台,然后粘贴相应的 Python 安装代码; 2.Sublime Text 3 安装代码并回车: import urllib.request,os; pf = 'Packag 阅读全文
posted @ 2017-09-02 17:08 追梦的独行者 阅读(313) 评论(0) 推荐(0) 编辑
摘要: 打开Sublime Text3 ,按Ctrl+`(和qq输入法快捷切换冲突,可以修改qq的输入法切换热键) 打开Sublime Text3 ,按Ctrl+`(和qq输入法快捷切换冲突,可以修改qq的输入法切换热键) 复制粘黏以下代码添加至命令行,然后回车 import urllib.request, 阅读全文
posted @ 2017-09-02 16:58 追梦的独行者 阅读(6215) 评论(0) 推荐(0) 编辑
摘要: 20. FTPSync 默认情况下SublimeText不具备FTP的功能,如果你正在寻找能在您的SublimeText应用程序中使用的免费和易用的FTP工具,你可以考虑FTPSync。这是一个非常简单的FTP同步工具,它可以控制上传目标的多重命名。让我们知道您的想法。 19. SASS Build 阅读全文
posted @ 2017-09-02 16:56 追梦的独行者 阅读(391) 评论(0) 推荐(0) 编辑
摘要: 安装View In Browser插件 快捷键 Ctrl+Shift+P(菜单栏Tools->Command Paletter),输入 pcip选中Install Package并回车,输入View In Browser的插件回车就安装了 注意左下角的小文字变化,会提示安装成功 安装View In 阅读全文
posted @ 2017-09-02 16:50 追梦的独行者 阅读(10399) 评论(0) 推荐(0) 编辑
摘要: 下载perl编译器。下载地址:http://pan.baidu.com/s/1i3GLKAp 下载后的文件如下图所示。 下载perl编译器。下载地址:http://pan.baidu.com/s/1i3GLKAp 下载后的文件如下图所示。 perl的安装。 直接双击运行下载的文件,首先会出现perl 阅读全文
posted @ 2017-09-02 15:30 追梦的独行者 阅读(3731) 评论(0) 推荐(0) 编辑
摘要: 原文链接:http://blog.chinaunix.net/space.php?uid=25580079&do=blog&id=190413 基本操作命令:ls #以默认方式显示当前目录文件列表ls –a #显示所有文件包括隐藏文件ls –l #显示文件属性,包括大小,日期,符号连接,是否可读写及 阅读全文
posted @ 2017-08-28 10:09 追梦的独行者 阅读(701) 评论(0) 推荐(0) 编辑
摘要: 目前IT领域对Unix和Linux的概念模糊不清,有的人说差不多,有的人说一样,也有的人说不一样,到底这两者之间有什么异同点,下面我们来分析一下。 把Unix和Linux认为差不多的原因是什么呢?其实Linux就是类Unix,什么叫类Linux,就是类似于Unix,是Unix的分支,从文件系统的结构 阅读全文
posted @ 2017-08-25 17:24 追梦的独行者 阅读(508) 评论(0) 推荐(0) 编辑