干了这瓶老干妈

2022年2月16日

摘要：一、什么是K8S？干什么的？ k8s全称（kubernetes），是一个全新的基于容器技术的分布式架构解决方案。简单来说就是一个docker容器管理工具，适合跑微服务架构。假如在微服务，你有100万用户，是不是起码得100台云主机？100台云主机你怎么部署？运行着，主机停电死掉了，你怎么知道哪些阅读全文

posted @ 2022-02-16 13:50 干了这瓶老干妈阅读(788) 评论(0) 推荐(0) 编辑

大数据领域技术演变史

摘要：一、大数据技术划分二、流式计算历史演进目前主流的流式计算框架有Storm/Jstorm、Spark Streaming、Flink/Blink三种。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具有最高的摄取阅读全文

posted @ 2022-02-16 12:46 干了这瓶老干妈阅读(367) 评论(0) 推荐(0) 编辑

Spark和Flink两种大数据计算引擎对比

摘要： Flink vs Spark Apache Spark和Flink都是下一代大数据工具抢占业界关注的焦点。两者都提供与Hadoop和NoSQL数据库的本机连接，并且可以处理HDFS数据。两者都是几个大数据的好方法问题。但由于其底层架构，Flink比Spark更快。Apache Spark是Apach 阅读全文

posted @ 2022-02-16 12:18 干了这瓶老干妈阅读(1499) 评论(0) 推荐(0) 编辑

2022年2月15日

解决Spark中无法调用toDF方法

摘要：导入以下代码： //导入隐饰操作，否则RDD无法调用toDF方法 import org.apache.spark.sql.SparkSession val spark = SparkSession.builder.master("local[4]").getOrCreate import spark 阅读全文

posted @ 2022-02-15 15:38 干了这瓶老干妈阅读(744) 评论(0) 推荐(0) 编辑

Spark中日志文件log4j设置

摘要： log4j.rootCategory=ERROR, console\ log4j.appender.console=org.apache.log4j.ConsoleAppender \ log4j.appender.console.target=System.err \ log4j.appender 阅读全文

posted @ 2022-02-15 14:32 干了这瓶老干妈阅读(285) 评论(0) 推荐(0) 编辑

在Windows配置Spark环境

摘要： 1、安装JDK 这里不再赘述。 2、安装Spark 到官网https://spark.apache.org/downloads.html选择合适的版本下载，注意Spark与Hadoop版本选择要相对应，建议下载预编译（Pre-built）好的版本，省得麻烦解压要需要的目录下，并配置环境变量SPAR 阅读全文

posted @ 2022-02-15 11:38 干了这瓶老干妈阅读(333) 评论(0) 推荐(0) 编辑

2022年2月14日

Spark中textFile从外部读取数据的用法

摘要：一、textFile源码 /** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it 阅读全文

posted @ 2022-02-14 22:58 干了这瓶老干妈阅读(476) 评论(0) 推荐(0) 编辑

Scala泛型

摘要：一、协变、逆变协变：Son是Father的子类，则MyList[Son] 也作为MyList[Father]的“子类”。格式：class MyList[+T]{ //协变 } 逆变：Son是Father的子类，则MyList[Son]作为MyList[Father]的“父类”。格式：class 阅读全文

posted @ 2022-02-14 16:15 干了这瓶老干妈阅读(34) 评论(0) 推荐(0) 编辑

Scala异常

摘要：语法处理上和Java类似，但是又不尽相同。 Java: Java语言按照try—catch—finally的方式来处理异常；不管有没有异常捕获，都会执行finally，因此通常可以在finally代码块中释放资源；可以有多个catch，分别捕获对应的异常，这时需要把范围小的异常类写在前面，把范围阅读全文

posted @ 2022-02-14 15:52 干了这瓶老干妈阅读(37) 评论(0) 推荐(0) 编辑

Scala中的集合

摘要：一、Scala集合基础说明： Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质；对于几乎所有的集合类，Scala都同时提供了可变和不可变的版本，分别位于以下两个包：不可变集合：scala.collection.immutable ；可变集合阅读全文

posted @ 2022-02-14 14:54 干了这瓶老干妈阅读(160) 评论(0) 推荐(0) 编辑

成长小港

公告