Avention

2018年5月4日

摘要： BeautifulSoup 是一个非常优秀的Python扩展库，可以用来从HTML或XML文件中提取我们感兴趣的数据，并且允许指定使用不同的解析器。使用 pip install BeaufifulSoup4 直接进行模块的安装。安装之后应使用 from bs4 import BeautifulSo 阅读全文

posted @ 2018-05-04 21:29 Avention 阅读(447) 评论(0) 推荐(0) 编辑

9.3.3 scrapy 框架

摘要： scrapy是一个非常好用的Web爬虫框架，非常适合抓取Web站点从网页中提取结构化的数据，并且支持自定义的需求。在使用scrapy爬取网页数据时，除了熟悉HTML标签，还需要了解目标网页的数据组织结构，确定要爬取什么信息，这样才能针对性地编写爬虫程序。使用pip命令安装好scrapy扩展库。在安阅读全文

posted @ 2018-05-04 16:57 Avention 阅读(189) 评论(0) 推荐(0) 编辑

9.3.2 网页爬虫

摘要：网页爬虫常用来在互联网上爬取感兴趣的页面或文件，结合数据处理与分析技术可以得到更深层次的信息。下面的代码实现了网页爬虫，可以抓取指定网页中的所有链接，并且可以指定关键字和抓取深度。阅读全文

posted @ 2018-05-04 15:27 Avention 阅读(270) 评论(0) 推荐(0) 编辑

2018年5月3日

9.3 域名解析与网页爬虫

摘要： Python 3.x 标准库 urllib提供了 rullib.request、urllib.response、urllib.parse 和 urllib.error 4个模块，很好地支持了网页内容读取功能。下面的代码演示了如何读取并显示指定网页的内容。下面的代码演示了如何使用GET方法读取并显阅读全文

posted @ 2018-05-03 11:22 Avention 阅读(454) 评论(0) 推荐(0) 编辑

2018年5月2日

百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-代码篇

摘要：需要结合：《百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量--笔记篇》一起看。整理后的代码：阅读全文

posted @ 2018-05-02 17:56 Avention 阅读(2751) 评论(0) 推荐(0) 编辑

百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-笔记篇

摘要：需要结合：《百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量-代码篇》一起学习 #百度搜索引擎关键字URL采集爬虫优化行业定投方案高效获得行业流量 #知识点 ''' 1 网络爬虫 2 Python开发网络爬虫 3 requests库 4 文件操作 ''' #项目结构 ''' key. 阅读全文

posted @ 2018-05-02 17:47 Avention 阅读(473) 评论(1) 推荐(0) 编辑

2018年4月30日

9.2 Socket编程

摘要：远程管理软件和黑客软件大多依赖于Socket来实现特定功能，前几年流行的端口反弹更是把这项技术发挥到了极致。如前所述，UDP和TCP是网络体系结构的传输层运行的两大重要协议，其中，TCP适用于对效率要求相对低而准确性要求相对高的场合，如文本传输、电子邮件等；而UDP适用于对效率要求相对高，对准确性阅读全文

posted @ 2018-04-30 17:32 Avention 阅读(321) 评论(0) 推荐(0) 编辑

9.1 计算机网络基础知识

摘要： 1 网络体系结构目前较为主流的网络体系结构是ISO/OSI参考模型和TCP/IP协议族。这两种体系结构都采用了分层设计和实现的方式，ISO/OSI参考模型从上而下划分为应用层、表示层、会话层、传输层、网络层、数据链路层和物理层，而TCP/IP则将网络划分为应用层、传输层、网络层、链路层。分层设计的阅读全文

posted @ 2018-04-30 16:10 Avention 阅读(346) 评论(0) 推荐(1) 编辑

第 9 章网络应用开发

摘要： Socket是计算机之间进行网络通信的一套接口程序，目前已经成为网络编程的标准，可以实现跨平台的数据传输。Socket相当于在发送端和接收端之间建立了一个管道来实现数据和命令的相互传递。Python标准库socket对Socket进行了封装，支持Socket接口的访问，大幅度简化了程序的开发步骤，提阅读全文

posted @ 2018-04-30 15:16 Avention 阅读(160) 评论(0) 推荐(0) 编辑

8.3 操作MongoDB数据库

摘要：一项权威调查显示，在大数据时代软件开发人员必备的十项技能中MongoDB数据库名列第二，仅次于HTML5。MongoDB是一个基于分布式文件存储的文档数据库，可以说是非关系型（Not Only SQL，NoSQL）数据库中比较像关系型数据库的一个，具有免费、操作简单、面向文档存储、自动分片可扩展性强阅读全文

posted @ 2018-04-30 14:57 Avention 阅读(263) 评论(0) 推荐(0) 编辑

公告