11 2018 档案

• 人人开源框架使用 renren fast
  摘要：参考地址人人开源官网： https://www.renren.io/guide/ 1.介绍 1.1.项目描述 1.2.获取帮助 后台地址：https://gitee.com/renrenio/renren-fast element-ui地址：https://github.com/daxiongYan 阅读全文
  posted @ 2018-11-28 21:39 David_Zhu 阅读(11167) 评论(0) 推荐(0) 编辑
• 大数据入门到精通7--对复合value做reducebykey
  摘要：培训系列7--对复合value做reduce 1.做基础数据准备 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= colle 阅读全文
  posted @ 2018-11-23 16:48 David_Zhu 阅读(241) 评论(0) 推荐(0) 编辑
• 大数据入门到精通6---spark rdd reduce by key 的使用方法
  摘要：1.前期数据准备（同之前的章节） val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val headerlessRdd= collegesRdd.filter( l 阅读全文
  posted @ 2018-11-23 11:59 David_Zhu 阅读(368) 评论(0) 推荐(0) 编辑
• 大数据入门到精通5--spark 的 RDD 的 reduce方法使用
  摘要：培训系列5--spark 的 RDD 的 reduce方法使用 1.spark-shell环境下准备数据 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first val 阅读全文
  posted @ 2018-11-22 11:24 David_Zhu 阅读(692) 评论(0) 推荐(0) 编辑
• sublime text3的注册码以及常用方法
  摘要：Michael BarnesSingle User LicenseEA7E-8213858A353C41 872A0D5C DF9B2950 AFF6F667C458EA6D 8EA3C286 98D1D650 131A97ABAA919AEC EF20E143 B361B1E7 4C8B7F04B 阅读全文
  posted @ 2018-11-21 11:19 David_Zhu 阅读(1064) 评论(0) 推荐(0) 编辑
• 大数据入门到精通4--spark的rdd的map使用方式
  摘要：学习了之前的rdd的filter以后，这次来讲spark的map方式 1.获得文件 val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")val header= collegesRdd.first 2.通过filter获得纯粹的 阅读全文
  posted @ 2018-11-21 10:55 David_Zhu 阅读(1481) 评论(0) 推荐(0) 编辑
• 大数据入门到精通3-SPARK RDD filter 以及 filter 函数
  摘要：一。如何处理RDD的filter 1. 把第一行的行头去掉 scala> val collegesRdd= sc.textFile("/user/hdfs/CollegeNavigator.csv")collegesRdd: org.apache.spark.rdd.RDD[String] = /u 阅读全文
  posted @ 2018-11-20 14:21 David_Zhu 阅读(1479) 评论(0) 推荐(0) 编辑
• 如何获得scala的帮助和退出
  摘要：scala> :helpAll commands can be abbreviated, e.g., :he instead of :help.:edit <id>|<line> edit history:help [command] print this summary or command-sp 阅读全文
  posted @ 2018-11-19 11:28 David_Zhu 阅读(328) 评论(0) 推荐(0) 编辑
• 大数据入门到精通2--spark rdd 获得数据的三种方法
  摘要：通过hdfs或者spark用户登录操作系统，执行spark-shell spark-shell 也可以带参数，这样就覆盖了默认得参数 spark-shell --master yarn --num-executors 2 --executor-memory 2G --driver-memory 15 阅读全文
  posted @ 2018-11-14 15:39 David_Zhu 阅读(897) 评论(0) 推荐(0) 编辑
• 大数据入门到精通1--大数据环境下的基础文件HDFS 操作
  摘要：1.使用hdfs用户或者hadoop用户登录 2.在linux shell下执行命令 hadoop fs -put '本地文件名' hadoop fs - put '/home/hdfs/sample/sample.txt' hadoop fs -ls / 列出具体的文件名。 hadoop fs - 阅读全文
  posted @ 2018-11-14 15:36 David_Zhu 阅读(461) 评论(0) 推荐(0) 编辑
• spring boot IDEA 开发微服务(二)
  摘要：https://www.cnblogs.com/spaceud/p/8097934.html 参考以上微博，自己实际操作步骤如下： 1~开发准备 JDK:1.8 Spring Boot:2.1.0 Spring Coud:Edgware.RELEASE IDE:IntelliJ IDEA 2018 阅读全文
  posted @ 2018-11-09 11:48 David_Zhu 阅读(336) 评论(0) 推荐(0) 编辑