摘要：
继续大作业 阅读全文
摘要：
今天学习了一点javaee的东西 了解了Hibernate开发 了解了POJO类 持久化类 持久化类有一个属性ID 用来唯一标识每个对象 了解了Hibernate的五个核心接口 Configuration SessionFactory Session Tranasaction Query 阅读全文
摘要：
继续啊大作业 阅读全文
摘要：
今天学习的是GraphX图计算框架 图论是研究一组实体之间两两关系的特点 了解了属性图，图的每个顶点和边都是有属性的。了解了定义在Graph中的核心操作。属性操作。结构操作 关联操作 聚合操作 计算度信息 图算法 阅读全文
摘要：
继续完成大作业 阅读全文
摘要：
今天学习的kafka kafka是一个分布式消息队列，可用在不同的系统之间·传递数据。 类似于jms的特性，但在设计上完全不同。kafka实际上是一个发布订阅系统。有生产者 Broker 消费者 练习了从数据导入HDFS及一系列import的常用参数 阅读全文
摘要：
开始进行大作业 阅读全文
摘要：
今天学习了Spark Streaming spark streaming在接收到实时数据后，将数据分批次，然后传给spark Engine处理最后生成该批次结果 了解了Dstream编程模型 了解了DStream操作 阅读全文
摘要：
完成实验7 内容 （1）通过实验掌握基本的 MLLib 编程方法；（2）掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。二、实验平台操作系统：Ubuntu16.04JDK 版本：1.7 或以上版本Spark 版本：2.1.0数据集：下载 Adult 数据集(ht 阅读全文
摘要：
今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl 阅读全文