摘要:
输入输出语句 为了从控制台读写数据,可以使用以read为前缀的方法,包括: readInt、readDouble、readByte、readShort、readFloat、readLong、readChar readBoolean及readLine,分别对应9种基本数据类型,其中前8种方法没有参数, 阅读全文
摘要:
Scala有两种类型的变量: val: 是不可变的,在声明时就必须被初始化,而且初始化以后就不能再赋值; var: 是可变的,声明的时候需要进行初始化,初始化以后还可以再次对其赋值。 Scala的数据类型包括:Byte、Char、Short、Int、Long、Float、Double和Boolean 阅读全文
摘要:
进入spark 的sbin目录,使用命令 start-all.sh 或 stop-all.sh 启动或关闭集群。 在spark的bin目录下执行 : spark-shell --master local[6] 进入到spark的默认命令行交互模式,即Scala交互。 进入idea并配置maven,在 阅读全文
摘要:
下载好sp并解压,在进行配置进入spark的conf目录下, 这里是spark所有的配置文件目录 配置spark-env.sh 添加 # 指定 JAVA Home export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64 # 指定 Spark Master 地址 e 阅读全文
摘要:
所学时间(包括上课) 7个小时 代码量(行) 800百左右 博客量 3篇 了解到的知识点 重大需求基本功能实现 阅读全文
摘要:
所学时间(包括上课) 3个小时 代码量(行) 400百左右 博客量 1篇 了解到的知识点 hive的学习与hbase整合 更新重大需求需求要求 阅读全文
摘要:
所学时间(包括上课) 9个小时 代码量(行) 900百左右 博客量 3篇 了解到的知识点 着重开始重大需求 阅读全文
摘要:
所学时间(包括上课) 3个小时 代码量(行) 400百左右 博客量 1篇 了解到的知识点 hive的学习与使用 阅读全文
摘要:
所学时间(包括上课) 3个小时 代码量(行) 200百左右 博客量 1篇 了解到的知识点 mapreduce的学习使用 阅读全文
摘要:
第八章的内容对实际开发有重要的指导意义,因为我们的项目中不可避免的要使用第三方工具,因此我们需要将这些东西整洁的纳入到我们的系统中,这时就需要考虑系统边界的问题。 有时候我们在使用第三方程序包或者开源代码的时候,或者依靠公司其他团队的代码,我们都得干净利落的的整合进自己的代码中。这一章就是介绍保持保 阅读全文