摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 查看HDFS上两个文件内容 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs 阅读全文
posted @ 2019-06-20 03:35 梁琳 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 本作业来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 2.windows 与 虚拟机互传文件 3.安装Hadoop 还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课 阅读全文
posted @ 2019-05-16 17:13 梁琳 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sqlite3 import sqlite3with sqlite3.connect('gzccnewsdb.sqlite') as db: 阅读全文
posted @ 2019-05-08 21:03 梁琳 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 网络爬虫,即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网 阅读全文
posted @ 2019-04-01 08:42 梁琳 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba j 阅读全文
posted @ 2019-03-25 17:57 梁琳 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表: 增加: ['l', 'z', 'd', 'h', 'k', 'aa'] 删除: ['l', 'z', 阅读全文
posted @ 2019-03-25 09:56 梁琳 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 1.字符串操作: 解析身份证号:生日、性别、出生地等。 凯撒密码编码与解码 网址观察与批量生成 2.英文词频统计预处理 下载一首英文的歌词或文章或小说。 将所有大写转换为小写 将所有其他做分隔符(,.?!)替换为空格 分隔出一个一个的单词 并统计单词出现的次数。 3.文件操作 同一目录、绝对路径、相 阅读全文
posted @ 2019-03-11 01:37 梁琳 阅读(93) 评论(0) 推荐(0) 编辑
摘要: 1.浏览2019春节各种大数据分析报告,例如: 这世间,再无第二个国家有能力承载如此庞大的人流量。http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告!http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万 阅读全文
posted @ 2019-03-01 17:14 梁琳 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 本作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2213 我的githup地址为:https://github.com/lianglina98/ruanjian02 、基本要求 从个人项目出发,将程序改造成一个单机带用 阅读全文
posted @ 2018-10-24 14:02 梁琳 阅读(171) 评论(1) 推荐(0) 编辑
摘要: 此博客是一份作业,作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2103 一.下载安装配置用户名和邮箱。 二. 创建工作目录并通过git init命令把这个目录变成Git可以管理的仓库。 1、创建一个新的文件夹,名叫r 阅读全文
posted @ 2018-09-16 18:21 梁琳 阅读(96) 评论(0) 推荐(0) 编辑