摘要：
作为一个coder，平时也喜欢去外面看看别的优秀coder是如何学习的，他们会分享一些思路。 如果你现在觉得自己有瓶颈了可以适当地去看看那些大牛的分享。 梯子地址：http://f.kkjs.tech/quickq/app/sisdk/index.html?vcode=k3r58cbw 阅读全文
摘要：
工作中的痛点：有一个计算的任务，需要配置成前端配置好一些简单的信息，例如名字,计算间隔，计算规则（这个是需要提前写好，开放给用户选择的），然后通过提交到我们的计算引擎中心生成对应的任务jar包提交到服务器上去计算（Flink+groovy) 我这里仅仅记录流程和关键点。 1：将前端传入引擎的信息进行 阅读全文
摘要：
在项目部署之后，查看日志能查看部署结果是否正确部署。 最开始查看日志我会使用cat service.log tail -f service.log vim service.log 打开日志之后 /+查找内容 可以搜索想要找的内容 n 可以往上查询，N可以往查询 按G可以跳到日志的末尾 等相关操作，这 阅读全文
摘要：
以此来记录一下Mongodb操作 阅读全文
摘要：
好久没更新博客园了,说来也惭愧,之前说好每隔几天更新一个的,虽然没什么人看，但是作为一个记录，回顾也是能有新的认识，这篇博客是讲的目前我在工作中使用的一个结束点，这个技术点目前网上资料少之甚少，也是希望给刚接触的人一个大概的思路，稍作分析下。说了这么多其实我也是个半吊子，也就间接性的踌躇满志，想到一 阅读全文
摘要：
创建RDD： 1：使用程序中的集合创建RDD，主要用于进行测试，可以在实际部署到集群运行之前，自己使用集合构造测试数据，来测试后面的spark应用流程。 2：使用本地文件创建RDD，主要用于临时性地处理一些储存了大量数据的文件 3：使用HDFS文件创建RDD，应该是最常用的生产环境处理方式，主要可以 阅读全文
摘要：
Spark核心组件 1、Driver 2、Master 3、Worker 4、Executor 4、Task 1：Driver程序启动后，会做一些初始化的操作，在这个过程中，就会发送请求到Master上，进行Spark应用程序的注册，说白了，就是让Master知道，有一个新的Spark程序要运行。 阅读全文
摘要：
集合的函数式编程： 实战常用： 阅读全文
摘要：
高阶函数 Scala中，由于函数时一等公民，因此可以直接将某个函数传入其他函数，作为参数。这个功能是极其强大的，也是Java这种面向对象的编程语言所不具备的。 接收其他函数作为函数参数的函数，也被称作高阶函数 高阶函数的另一个功能是将函数作为返回值 高阶函数的类型推断 高阶函数可以自己推断出函数类型 阅读全文
摘要：
trait调用链 Scala中支持让类继承多个Trait后，依次调用多个Trait中的同一个方法，只要让多个trait的同一个方法中，在最后都执行super.方法即可 类中调用多个trait中都有这个方法时，首先会从最右边的trait的方法开始执行，然后依次往左执行，形成一个调用链条 这种特性非常强 阅读全文