摘要：
本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 前言 本次作业是在《爬虫大作业》的基础上进行的，在《爬虫大作业》中，我主要对拉勾网python岗位的招聘信息进行的数据爬取，最终得到了2641条数据存在一个名 阅读全文
摘要：
一、用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 1.HDFS: Hadoop Distributed File System Hadoop分布式文件系统 1.1功能： 1.兼容廉价的硬件设备。2.流数据的读写。3.大数据集。4.简单的文件模型。5.强大的 阅读全文
摘要：
利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文
摘要：
相信很多人都有书荒的时候，想要找到一本合适的书籍确实不容易，所以这次利用刚学习到的知识爬取豆瓣网的各类书籍，传送门https://book.douban.com/tag/?view=cloud。 首先是这个程序的结构，html_downloader是html下载器，html_outputer是导出到 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews # 标题 title = newSoup.select('.show-title')[0].text # 发布信息 newInfo = newSoup.select('.show-info')[0].text # 发布时间 newDT = newsD 阅读全文
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文
摘要：
1. 简单说明爬虫原理 2. 理解爬虫开发过程 1).简要说明浏览器工作原理； HTTP协议的工作原理： a）连接：Web浏览器与Web服务器建立连接，打开一个称为socket（套接字）的虚拟文件，此文件的建立标志着连接建立成功。 b）请求：Web浏览器通过socket向Web服务器提交请求。HTT 阅读全文
摘要：
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 # 定义一个列表textList = ['cd','rm','mkdir','cat','tar'] # 增加textList.append('gunzip')textList.insert(2 , 'qzip') # 删除textList.pop 阅读全文
摘要：
1.字符串操作： 解析身份证号：生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说，保存为utf8文件。 从文件读出字符串。 将所有大写转换为小写 将所有其他做分隔符（,.？！）替换为空格 分隔出一个一个的单词 并统计单词出现的次数 阅读全文