快乐的张小凡

2020年10月27日

摘要： 1.什么是Column对象 Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值 2.Column对象如何创建 (1)’ 单引号 ’ 在 Scala 中是一个特殊的符号, 通过 ’ 会生成一个 Symbol 对象, Sym 阅读全文

posted @ 2020-10-27 14:47 快乐的张小凡阅读(2920) 评论(0) 推荐(1) 编辑

常见应用 - SparkSql 之 DSL(2)

摘要： import org.apache.spark.sql.SQLContext import org.apache.spark.sql.expressions.Window import org.apache.spark.sql.hive.HiveContext import org.apache.s 阅读全文

posted @ 2020-10-27 14:30 快乐的张小凡阅读(352) 评论(0) 推荐(0) 编辑

常见应用 - SparkSql 之 DSL(1)

摘要： package com.zhangxiaofan.testimport org.apache.spark._import org.apache.spark.sql.SparkSession/** * @author ZhangXiaoFan * @create 2020-10-20 9:58 */c 阅读全文

posted @ 2020-10-27 14:21 快乐的张小凡阅读(769) 评论(0) 推荐(0) 编辑

2020年2月10日

springboot学习

摘要： https://www.cnblogs.com/hellokuangshen/tag/SpringBoot/ 阅读全文

posted @ 2020-02-10 16:11 快乐的张小凡阅读(98) 评论(0) 推荐(0) 编辑

2019年11月24日

Intellij IDEA的介绍和安装

摘要：一、IntelliJ IDEA 介绍 Eclipse ->IBM 1.JetBrains 公司介绍 IDEA(https://www.jetbrains.com/idea/)是 JetBrains 公司的产品，公司旗下还有其它产品，比如： WebStorm：用于开发 JavaScript、HTML5 阅读全文

posted @ 2019-11-24 01:12 快乐的张小凡阅读(564) 评论(0) 推荐(0) 编辑

2019年11月3日

maven导依赖错误

摘要：第一种：修改pom 配置文件，讲标红的依赖先删除，并点击reimport, 之后重新加上出错的依赖，再reimport 第二种：从删除本地仓库中的文件目录，强制 maven 重新下载该包阅读全文

posted @ 2019-11-03 16:25 快乐的张小凡阅读(227) 评论(0) 推荐(0) 编辑

2019年7月8日

常见错误 - sparkSql和hive的整合之mysql报错

摘要： # hive # show databases; hive> show databases;FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: 阅读全文

posted @ 2019-07-08 18:43 快乐的张小凡阅读(308) 评论(0) 推荐(0) 编辑

2019年6月30日

hdfs原理之四大机制

摘要：一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告，目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用（1）向namenode汇报自己的存活状况以及可用空间（2）向namenode发送块报告，每一个datanode 阅读全文

posted @ 2019-06-30 20:00 快乐的张小凡阅读(593) 评论(0) 推荐(0) 编辑

hadoop功能模块之hdfs

摘要：第一节：hdfs简介用于海量数据存储的，就是一个文件系统，分布式文件系统。 hadoop distributed filesystem 第二节：设计思想一、分而治之将超级大的文件切分成每一个小文件（数据块）进行存储在不同的节点上。同时切分的数据块太大了，容易造成集群中节点的存储的负载不均衡。太阅读全文

posted @ 2019-06-30 19:54 快乐的张小凡阅读(519) 评论(0) 推荐(0) 编辑

Hadoop介绍

摘要：第一节：简介 hadoop基于普通廉价机的提供高可用、高扩展、高容错的分布式存储计算服务的。 hadoop设计的时候考虑到集群中任何一个节点任何时间都有可能出故障 hadoop已经帮你规避了。第二节：hadoop产生背景一、google 海量的网页数据如何存储的问题？海量网页数据如何计算? 海阅读全文

posted @ 2019-06-30 19:50 快乐的张小凡阅读(142) 评论(0) 推荐(0) 编辑

快乐的小CC

公告