摘要： 简介 Canny 边缘检测算法 是 John F. Canny 于 1986年开发出来的一个多级边缘检测算法，也被很多人认为是边缘检测的 最优算法，它是由很多步构成的算法。最优边缘检测的三个主要评价标准：低错误率: 标识出尽可能多的实际边缘，同时尽可能的减少噪声产生... 阅读全文

摘要： 目标认识图像梯度、边界 学习函数cv2.Sobel()，cv2.Schar()，cv2.Laplacian()原理 图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导。OpenCV提供三种类型的梯度滤波器或高通滤波器，Sobel，Scharr... 阅读全文

摘要： 打开百度，输入pycharm下载，点击下图的第二个英文链接。进入后选择linux下的Community进行下载，而左边的Professional是要钱购买的，当然花钱的体验效果肯定会更好。下载完成后，将文件进行解压提取，然后点击文件下的bin，右键在其下打开终端，输入... 阅读全文

摘要： 系统虽然自带了不同版本的python，但都没有安装pip，pyhton2.7下使用的是pip2，python3.5下使用的是pip3。下面是各自安装命令。安装pip2：sudo apt-get install python-pip python-dev build-e... 阅读全文

摘要： Ubuntu系统自带python2.7（默认）和python3.5，所以不需要自己安装python。我们可以使用命令python -V或python3 -V来查看默认的python版本。现在越来越多的人从以前使用2.7版本过渡到3.5，这里就要知道如何随意的切换u... 阅读全文

摘要： 为什么要进行浏览器伪装技术？ 有一些网站为了避免爬虫的恶意访问，会设置一些反爬虫机制，对方服务器会对爬虫进行屏蔽。常见的饭爬虫机制主要有下面几个：1. 通过分析用户请求的Headers信息进行反爬虫2. 通过检测用户行为进行反爬虫，比如通过判断同一个IP在短时间... 阅读全文

摘要： 什么是cookie？ 在爬虫的使用中，如果涉及登录等操作时，经常会使用到cookie。简单的来说，我们访问每一个互联网页面，都是通过HTTP协议进行的，而HTTP协议是一个无状态协议，所谓的无状态协议就是无法维持会话之间的状态。比如，仅使用HTTP协议的话，我们... 阅读全文

摘要： Fiddler是一个常见的抓包分析软件，同时我们可以利用它详细地对HTTP请求进行分析，并模拟对应的HTTP请求。为什么使用Fiddler软件？ 网络爬虫是自动爬取网页的程序，在爬取的过程中必然涉及客户端和服务器端之间的通信，自然也需要发送一些HTTP请求，并接收... 阅读全文

摘要： 在ubuntu下不能直接安装Fiddler，我们要先安装mono环境，具体可分为三个步骤：1. 在终端下输入指令安装mono环境 ：sudo apt-get install mono-complete2. Fiddler官方提供了Mono版本的,Fiddler可... 阅读全文

摘要： 一、匹配.com或.cn为后缀的url网址# -*- coding:UTF-8 -*-import restring = "百度首页"pattern = "[a-z|A-Z]+://[^\s]+[.cn|.com]"result = re.search(pattern... 阅读全文