02 2020 档案
摘要:什么是架构 缘起 一直以来,在软件行业,对于什么是架构,都有很多的争论,每个人都有自己的理解。甚至于很多架构师一说架构,就开始谈论什么应用架构、硬件架构、数据架构等等。我曾经也到处寻找过架构的定义,请教过很多人,结果发现,没有大家都认可的定义。套用一句关于 big data 流行的笑话,放在架构上也
阅读全文
摘要:今天安装 并了解了一下Tableau的使用 工作表 仪表板 故事 工作簿 一详细了解了他们的工作区内容 创建了一个视图 了解了标记卡 筛选器
阅读全文
摘要:今天了解了HQL查询 from句子最简单的hql语句 select子句 HQL中的聚集函数 条件查询 where子句 order by子句排序
阅读全文
摘要:今天了解了Hibernate文件剖析 1 持久化类Pojo 持久化类有一个属性ID,用来标识类的每个对象。 2*.hnm.xml配置文件映射文件是实体对象与数据库关系表之间的相互转换的重要依据 3Hibernate。cfg。xml配置文件主要用于配置数据库连接和Hibernate运行时所需的各种属性
阅读全文
摘要:今天学习JAVAee Spring 首先了解 Spring结构 Spring由JOHNOSON创建的一个开源的控制反转和面向切面的框架 Spring不同于其他·得Framework 他提供一种管理业务对象的方法 Spring是全面的和模块化的,有分层的体系结构 了解了 ApplicationCont
阅读全文
摘要:今天学习了一点javaee的东西 了解了Hibernate开发 了解了POJO类 持久化类 持久化类有一个属性ID 用来唯一标识每个对象 了解了Hibernate的五个核心接口 Configuration SessionFactory Session Tranasaction Query
阅读全文
摘要:今天学习的是GraphX图计算框架 图论是研究一组实体之间两两关系的特点 了解了属性图,图的每个顶点和边都是有属性的。了解了定义在Graph中的核心操作。属性操作。结构操作 关联操作 聚合操作 计算度信息 图算法
阅读全文
摘要:今天学习的kafka kafka是一个分布式消息队列,可用在不同的系统之间·传递数据。 类似于jms的特性,但在设计上完全不同。kafka实际上是一个发布订阅系统。有生产者 Broker 消费者 练习了从数据导入HDFS及一系列import的常用参数
阅读全文
摘要:今天学习了Spark Streaming spark streaming在接收到实时数据后,将数据分批次,然后传给spark Engine处理最后生成该批次结果 了解了Dstream编程模型 了解了DStream操作
阅读全文
摘要:完成实验7 内容 (1)通过实验掌握基本的 MLLib 编程方法;(2)掌握用 MLLib 解决一些常见的数据分析问题,包括数据导入、成分分析和分类和预测等。二、实验平台操作系统:Ubuntu16.04JDK 版本:1.7 或以上版本Spark 版本:2.1.0数据集:下载 Adult 数据集(ht
阅读全文
摘要:今天学习SparkSQL方面的知识 该模型允许你使用SQL或者DataFrame或DataSet进行关系型查询 Spark SQL划分为四个子项目: Catalyst (sql/catalyst) - 解析关系操作算子和表达式的语法树的实现框架 Execution (sql/core) - 代表pl
阅读全文
摘要:完成实验六 内容 (1)通过实验学习日志采集工具 Flume 的安装和使用方法; (2)掌握采用 Flume 作为 Spark Streaming 数据源的编程方法
阅读全文
摘要:今天学习大数据采集和导入 任何完整的数据平台一般都有以下几个过程: 数据采集 数据储存 数据管理 输出处理 数据展现 flume架构 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,F
阅读全文
摘要:今天寒假作业完成实验五 内容 1.Spark SQL 基本操作..........................................................................................................1 2.编程实现将 RDD
阅读全文
摘要:今天学习Spaek框架 上面是SPark集群模式图每个应用程序都拥有自己的Executior。Exrctor为应用程序提供了一个隔离的运行环境。 进行了count()和firsr()的演示 进行了词频统计实验
阅读全文
摘要:完成实验四 内容 (1)熟悉 Spark 的 RDD 基本操作及键值对操作; (2)熟悉使用 RDD 编程解决实际具体问题的方法。
阅读全文
摘要:2020.2。4今天寒假生活学了大数据采集和导入 了解了Flume的相关内容
阅读全文
摘要:完成实验报告三 内容 (1)掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法; (2)熟悉 HDFS 的基本使用方法; (3)掌握使用 Spark 访问本地文件和 HDFS 文件的方法。
阅读全文
摘要:之前已经在老师的引导下配置了一些环境,但还有许多需要的东西需要完善,今天安装了NTP 安装配置了 OPENSSL HDP 学习了大数据访问 SQL引擎层 学习了在eclipse上开发phoenix程序 通过《大数据技术入门》进行的学习
阅读全文
摘要:完成实验二 内容 1.掌握 Scala 语言的基本语法、数据结构和控制结构; 2.掌握面向对象编程的基础知识,能够编写自定义类和特质; 3.掌握函数式编程的基础知识,能够熟练定义匿名函数。熟悉 Scala 的容器类库的基本 层次结构,熟练使用常用的容器类进行数据; 4.熟练掌握 Scala 的 RE
阅读全文
摘要:2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性,而Spark使用RDD数据存储模型来实现数据的容错性。 了解了 hadoop框架 中的 HDFS(分布式文件系统) Mapreduce(分布式计算框架) map函数 Reduce (函数) YAR
阅读全文
摘要:今天通过《大数据可视化技术》清华大学出版社,一书学习了大数据了可视化的不确定性和可变性,并且了解数据可视化的五个方面。 1 大型企业软件供应商应用 2 最优性能应用 3流行的开源工具 4设计及公司 5创业,网站服务及其资源 了解了一些可视化编程工具 如Python D3.js R语言 JavaScr
阅读全文