摘要：
一：将爬虫大作业产生的csv文件上传到HDFS 查看文件中前10条信息，即可证明是否上传成功。 二.对CSV文件进行预处理生成无标题文本文件 创建一个deal.sh，主要实现数据分割成什么样的意思 执行deal.sh 对数据进行分割预处理并输出形成movie.txt 三.把hdfs中的文本文件最终导 阅读全文
摘要：
HDFS： HDFS是Hadoop的分布式文件系统，全名为Hadoop Distributed File System。它有以下三个基本概念： Block（块），块是默认大小为64MB的逻辑单元。HDFS里面的文件被分成相同大小的数据块来进行存储和管理。当然，文件的备份和查找也是基于数据块进行处理的 阅读全文
摘要：
以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录, HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input”目录 2.文件操作 使用vim编辑器 阅读全文
摘要：
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 1.安装Mysql 使用命令 sudo apt-get install mysql-server sudo apt isntall mysql-client sud 阅读全文
摘要：
1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页 4.设置合理的爬取间隔 5.用pandas做简单的 阅读全文
摘要：
给定一篇新闻的链接newsUrl，获取该新闻的全部信息标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newCl 阅读全文
摘要：
1. 简单说明爬虫原理 简单来说互联网是由一个个站点和网络设备组成的大网，我们通过浏览器访问站点，站点把HTML、JS、CSS代码返回给浏览器，这些代码经过浏览器解析、渲染，将丰富多彩的网页呈现我们眼前； 2. 理解爬虫开发过程 1).简要说明浏览器工作原理；、 方式1：浏览器提交请求 >下载网页代 阅读全文
摘要：
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 #词库文本文件 5. 生成词频统计 6. 排序 7. 排除语法型词汇，代词、冠词、连词 8. 输出词频最大 阅读全文
摘要：
1.列表，元组，字典，集合分别如何增删改查及遍历。 列表： 元组： 字典： d={'a':10,'b':20,'c':30} 集合： 2.总结列表，元组，字典，集合的联系与区别。参考以下几个方面： 括号 列表[]； 元组（）； 字典{}；集合（）或者{} 有序无序 列表和元组有序，字典和集合无序 可 阅读全文
摘要：
1.字符串操作： 解析身份证号：生日、性别、出生地等。 地址码： 表示编码对象常住户口所在县(市、旗、区)的行政区划代码。 出生日期码：表示编码对象出生的年、月、日，年、月、日代码之间不用分隔符，格式为YYYYMMDD，如19880328。 顺序码： 表示在同一地址码所标识的区域范围内，对同年、同月 阅读全文