摘要: vue学习的小demo,实现简单的页面项目的增删 代码如下 阅读全文
posted @ 2019-10-25 22:06 代码是肥钦喔 阅读(424) 评论(0) 推荐(1) 编辑
摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一、将爬虫大作业产生的csv文件上传到HDFS 二、查看数据集内容 查看评论前五条数据: 处理数据: 编辑dealdata.sh文件处理转化成txt 三、把hdfs 阅读全文
posted @ 2019-06-19 09:52 代码是肥钦喔 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 启动hadoop 创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名 阅读全文
posted @ 2019-06-03 17:40 代码是肥钦喔 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 启动Hadoop 启动Hbase jps 进入shell 建立表及使用 阅读全文
posted @ 2019-05-17 19:04 代码是肥钦喔 阅读(83) 评论(0) 推荐(0) 编辑
摘要: 1.安装Linux,MySql 2.windows 与 虚拟机互传文件 设置共享文件夹: 3.安装Hadoop 还不能从windows复制文件的,可在虚拟机里用浏览器下载安装文件,课件: 提取文件:hadoop-2.7.1.tar.gz 链接: https://pan.baidu.com/s/1HI 阅读全文
posted @ 2019-05-14 23:37 代码是肥钦喔 阅读(193) 评论(0) 推荐(0) 编辑
摘要: 首先观察网页: https://tieba.baidu.com/f?kw=%E5%BF%83%E7%90%86%E5%AD%A6&ie=utf-8&pn=50 只需要改变pn的值就能获取到网页,通过网页源代码来获取对应的想要数据 代码: 接下来就可以整理数据: 代码: 阅读全文
posted @ 2019-05-08 21:43 代码是肥钦喔 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sq 阅读全文
posted @ 2019-05-04 23:40 代码是肥钦喔 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 老师:MissDu 提交作业 老师:MissDu 提交作业 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) 阅读全文
posted @ 2019-04-12 17:52 代码是肥钦喔 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 博客要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 向网站发起请求,获取资源后分析并提取有用数据的程序;从技术层面来说就是 通过程序模拟浏览器请求站点的行为,把站点返回的HTML代码/JSON 阅读全文
posted @ 2019-03-30 18:12 代码是肥钦喔 阅读(159) 评论(1) 推荐(0) 编辑
摘要: 本次作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 初始化jieba环境: 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieb 阅读全文
posted @ 2019-03-24 22:44 代码是肥钦喔 阅读(298) 评论(0) 推荐(0) 编辑