凯旋.Lau

摘要： 全站爬取1 基于管道的持久化存储 数据解析（爬虫类） 将解析的数据封装到item类型的对象中（爬虫类） 将item提交给管道， yield item（爬虫类） 在管道类的process_item中接手收item对象， 并进行任意形式的持久化存储操作（管道类） 在配置文件中开启管道 细节： 将爬取到的 阅读全文

摘要： scrapy是一个为了爬取网站数据, 提取结构性数据而编写的应用框架, 它是基于Twisted框架开发而来, 而Twisted框架是事件驱动的, 比较适合异步代码. 对会阻塞线程的操作, 包括访问数据库、文件或者web, 或者产生新的进程并需要处理新进程的输出、执行系统层次操作的代码, Twiste 阅读全文

摘要： requests简介 ​ requests模块是在urllib的基础上编写的, 采用的是Apache2 Licensed开源协议的HTTP库. 与urllib相比较, requests模块使用起来更加方便, 但安装好python之后没有该模块, 故使用requests模块需要单独安装. reques 阅读全文

摘要： 什么是爬虫? 编写程序, 模拟浏览器访问服务器, 从而获取动态资源 爬虫基本流程 发送请求 通过模块或库模拟浏览器, 向目标站点发送请求, 请求可以携带headers和参数等信息, 然后等待服务器响应 获取响应 服务器正常响应, 会返回一个response, 即页面内容, 可能是html, json 阅读全文

摘要： 什么是池? 在程序开始时, 还没有提交任务,先创建几个线程或进程, 并放在一个池子里, 这就是池. 为什么要用池? 先开好线程/进程, 等有任务之后就可以直接使用这个池中的数据 开好的线程/进程会一直存在于这个池中, 可以被多个任务反复利用, 从而能够减少开启 关闭 调度线程/进程的时间开销 池中线 阅读全文

摘要： #include <iostream> using namespace std; //二分查找 2 4 5 9 10 int binary_search(int arr[], int length, int element) { int left = 0, right = length - 1; w 阅读全文

摘要： #include <iostream> using namespace std; //冒泡排序 2 5 4 1 3 template <class T> void bubble_sort(T arr[], int length) { for (int k = 0; k < length - 1; k 阅读全文

摘要： 文档与视图结构 文档、视图的关系，是一对多的映射，一个文档可以对应多个视图，而一个视图只能对应一个文档。例如，一个.html文件，可以用记事本打开，也可以用浏览器打开，这里的.html文件就是文档，记事本和浏览器就是这个文档的两个视图。 文档和视图结构的优势在于数据的管理与显示分离，数据总是要以一定 阅读全文

摘要： 视类窗口 视类窗口是指程序运行后，显示信息的那一部分。对应的类是CTestOneView（TestOne表示项目名称）类，CTestOneView类是派生于CView类，而CView类又派生于CWnd类。他们的继承关系可以通过查找类的定义来查看继承关系。 视图类CView，拥有窗口的客户区域，负责显 阅读全文

摘要： 在MFC中，典型的类有CString、CRect、CDialog等，这些类的使用方法是通用的，下文以CString类的使用为例做一个详细说明。类的使用主要还是使用类的方法，可以查看类的定义，查看这个类提供了哪些方法，在使用的时候，只需要注意方法的返回值和参数即可。 字符串操作类CString CSt 阅读全文