zhanglijie1

摘要： 今天写实验七，遇到了很多问题，没有完成~ 补充 阅读全文

摘要： 今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 阅读全文

摘要： 我今天学习了spark sql Spark SQL可以很好地支持SQL查询，一方面，可以编写Spark应用程序使用SQL语句进行数据查询，另一方面，也可以使用标准的数据库连接器（比如JDBC或ODBC）连接Spark进行SQL查询，这样，一些市场上现有的商业智能工具（比如Tableau）就可以很好地 阅读全文

摘要： 今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解 之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把 在网上查询解决方案，找了很久终于 教程里spark-core 换成了spark-sql 然后就下载成功了 阅读全文

摘要： 今天写的实验三 1.i京安装完成spark和hadoop （1） 启动 Hadoop，在 HDFS 中创建用户目录“/user/hadoop”； cd /usr/local/hadoop ./bin/hdfs dfs –mkdir –p /user/hadoop （2） 在 Linux 系统的本地文 阅读全文

摘要： 前几天安装的sbt一直没有安装成功，只是把剩下的安装了很完成了实验一二，然后今天安装sbt安装了很久，一直下载失败，试了各种办法，后来发现是我spark的版本2.1.0查找不到，后来把spark版本换成了2.1.0的版本后在安装sbt就安装成功了，然后试了一下教程下面的例子，成功了，心态差点爆炸 c 阅读全文

摘要： 实验二的2 模拟图形绘制 object test { def main(args: Array[String]) { val p=new Point(10,30) p.draw; val line1 = new Line(Point(0,0),Point(20,20)) line1.draw lin 阅读全文

摘要： 今天完成了实验二 目的是 掌握 Scala 语言的基本语法、数据结构和控制结构； 2.掌握面向对象编程的基础知识，能够编写自定义类和特质； 3.掌握函数式编程的基础知识，能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构，熟练使用常用的容器类进行数据； 4.熟练掌握 Scala 的 阅读全文

摘要： scala与java的区别 （1）scala与java都有7中数值类型：int、short、long、byte、float、double、boolean这7种，但是scala中这7种值类型是类，在java中属于基本类型，java中，数据类型分成基本类型和引用类型，scala中不区分。（2）scala 阅读全文

摘要： 实验一的 在 Windows 系统和 Linux 系统之间互传文件 首先在网上通过教程成功的通过FileZilla软件连接了本地虚拟机 教程http://dblab.xmu.edu.cn/blog/1608-2/ VirtualBox虚拟机实现桥接方式——解决桥接网卡界面名称未指定问题 https: 阅读全文