牛栏山1

摘要： DNS 是Domain Name Service的缩写。域名系统为Internet上的主机分配域名地址和IP地址。IP地址不易于记忆，然而域名地址相比较而言是方便于记忆的。用户如果使用域名地址，当想获得IP地址时，就要向域名服务器发送请求。这个域名服务器就会自动把域名地址转为IP地址返回给用户。爬... 阅读全文

摘要： 在linux或者unix操作系统中在系统的引导的时候会开启很多服务，这些服务就叫做守护进程。为了增加灵活性，root可以选择系统开启的模式，这些模式叫做运行级别，每一种运行级别以一定的方式配置系统。 守护进程是脱离于终端并且在后台运行的进程。守护进程脱离于终端是为了避免进程在执行过程中的信息在任何... 阅读全文

摘要： 配置文件在Linux下使用得非常普遍，但是Linux下没有统一个配置文件标准。我们把配置文件的规则制定如下：1、把“#”视作注释开始2、所有的配置项都都是以键值对的形式出现3、严格区分大小写4、允许数据类型为整型的配置项5、允许数据类型为字符串类型的配置项6、允许数据类型为逻辑型的配置项，取值为y... 阅读全文

摘要： 网络抓取系统分为核心和扩展组件两部分。核心部分是一个精简的、模块化的爬虫实现，而扩展部分则包括一些便利的、实用性的功能。目标是尽量的模块化，并体现爬虫的功能特点。这部分提供简单、灵活的API，在基本不改变开发模式的情况下，编写一个爬虫。扩展组件部分提供一些扩展的功能，内置了一些常用的组件，便于对爬... 阅读全文

摘要： 当我们设计好程序框架之后就要开始实现它了。第一步当然是要实现主程序的流程框架。之后我们逐渐填充每个流程的细节和其需要调用的模块。 主程序的流程如下：1、 解析命令行参数，并根据参数跳转到相应的处理分支2、 解析配置文件3、 载入处理模块4、 加载种子URL5、 启动抓取任务 主程序的代码... 阅读全文

摘要： 我们在学习了Linux系统编程之后，需要一些实战项目来提高自己的水平，本系列我们通过编写一个爬虫程序，将我们学习的知识进行综合应用，同时在实现项目的过程中逐渐养成一些有用的思维方式，并具有初步的软件开发思想。网络爬虫是搜索引擎的一个重要基本功能。由于互联网上的信息非常庞大，我们借... 阅读全文

摘要： 网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。一个通用的网络爬虫的框架如图所示：网络爬虫的基本工作流程如下：1.首先选取一部分精心挑选的种子URL；2.将这些URL放入待抓取URL队列；3.从待抓取URL队列中取出待抓取在URL，... 阅读全文

摘要： 秋天已经向我们走来，在这个充满收获的季节里，大家齐聚传智C/C++学院这个大家庭，无论你曾经从事什么工作，都拥有着一颗热爱C/C++的心，为了自己心中的梦想，大家要付出百倍的努力，要做到“坚持到无能为力，努力到感动自己”。首先是全家福，43人的大家庭，充满温暖和力量。 conew_大家庭.jp... 阅读全文

摘要： 函数介绍 getopt（分析命令行参数） 相关函数 表头文件 #include 定义函数 int getopt(int argc,char * const argv[ ],const char * opts... 阅读全文

摘要： 简介红帽最新版本的旗舰平台交付显著增强的可用性、 性能和可靠性。 丰富的新功能为架构、 系统管理员和开发人员提供所需的资源以更高效地进行创新和管理。架构师： 红帽® 企业 Linux® 7 适合您选择的任意基础架构， 它可以高效地与其他操作环境、 身份验证和管理系统集成到一起。 无论您是要构建... 阅读全文