摘要: 也可以直接用文件系统来构造 RDD的操作分为转化操作(transformation)和行为操作(action), 转化操作和行为操作的本质区别 转化操作使一个RDD转化为另一个RDD而行动操作就是进行实际的计算 以下是行动操作代码 map()指的是对key进行操作 mapValues()指的是对Va 阅读全文
posted @ 2019-03-14 22:18 想不到8 阅读(331) 评论(0) 推荐(0) 编辑
摘要: Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ....... 根据给定的数据在spark-shell中通过编程来计算以下内容 (1 阅读全文
posted @ 2019-03-14 12:40 想不到8 阅读(2797) 评论(0) 推荐(0) 编辑
摘要: 1.何为软件架构:百度百科上的解释是:有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计。 我的理解是把一个整体(完成人类生存的所有工作)切分成不同的部分(分工),由不同角色来完成这些分工,并通过建立不同部分相互沟通的机制,使得这些部分能够有机的结合成一个整体 2.为什么会产生架构 阅读全文
posted @ 2019-03-10 20:05 想不到8 阅读(192) 评论(0) 推荐(0) 编辑
摘要: 上一篇博客说明了怎么自定义Key,而且用了二次排序的例子来做测试,但没有详细的说明二次排序,这一篇说详细的说明二次排序,为了说明曾经一个思想的误区,特地做了一个3个字段的二次排序来说明。后面称其为“三次排序”。测试数据:a1,b2,c5a4,b1,c3a1,b2,c4a2,b2,c4a2,b1,c4 阅读全文
posted @ 2018-12-05 23:00 想不到8 阅读(383) 评论(0) 推荐(0) 编辑
摘要: 一,mysql 安装mysql5.7完整教程1. yum -y install mysql-server直接执行语句后等待就好已安装: mysql-community-server.x86_64 0:5.7.23-1.el7 作为依赖被安装: mysql-community-client.x86_6 阅读全文
posted @ 2018-10-14 10:03 想不到8 阅读(272) 评论(0) 推荐(0) 编辑
摘要: 本周学习21个小时 编码4小时 本周复习了学过的oracle知识和大数据 阅读全文
posted @ 2018-08-31 19:43 想不到8 阅读(83) 评论(0) 推荐(0) 编辑
摘要: 本周学习10个小时, 家里比较忙,帮父母干了点活 时间比较紧 编码0小时 下周目标 系统的了解大数据的Hadoop 阅读全文
posted @ 2018-08-26 19:41 想不到8 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 本周查看了部分大数据内容 学习了20个小时 编码2小时 下周目标 一天3个小时 阅读全文
posted @ 2018-08-19 19:40 想不到8 阅读(71) 评论(0) 推荐(0) 编辑
摘要: 本周学习时间10个小时 大数据方面还没学太懂 编程时间3个小时 下周河北年报创新系统重写 阅读全文
posted @ 2018-08-12 18:30 想不到8 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 本周在学习上时间30个小时 其中20个学习了服务器的架构 编代码5个小时 下周学习大数据spark 阅读全文
posted @ 2018-08-05 20:05 想不到8 阅读(126) 评论(0) 推荐(0) 编辑