摘要：
Spark菜鸟学习营Day6 分布式代码运行调试 作为代码调试，一般会分成两个部分 1. 语法调试，也就是确定能够运行 2. 结果调试，也就是确定程序逻辑的正确 其实这个都离不开运行，所以我们说一下如何让开发的Spark程序运行。 Spark的代码有一个特色，就是延时运行机制，就是当我们调用map等 阅读全文
摘要：
Spark菜鸟学习营Day5 分布式程序开发 这一章会和我们前面进行的需求分析进行呼应，完成程序的开发。 开发步骤 分布式系统开发是一个复杂的过程，对于复杂过程，我们需要分解为简单步骤的组合。 针对每个简单步骤，难度会降低，学习成本降低 每个步骤都可以作为里程碑，可以反馈进展，同时，有助树立目标感。 阅读全文
摘要：
Spark菜鸟学习营Day4 单元测试程序的编写 Spark相比于传统代码是比较难以调试的，单元测试的编写是非常必要的。 Step0：需求分析 在测试案例编写前，需完成需求分析工作，明确程序所有的输入和输出情况。 具体请见需求分析章节。 Step1：新建测试案例 测试案例统一放置在如下位置： com 阅读全文
摘要：
Spark菜鸟学习营Day3 RDD编程进阶 RDD代码简化 对于昨天练习的代码，我们可以从几个方面来简化： 1. 使用fluent风格写法，可以减少对于中间变量的定义。 2. 使用lambda表示式来替换对象写法，可以使用到类型推断功能，减少对于类型的定义。 优化后代码如下： Dataframe开 阅读全文
摘要：
Spark菜鸟学习营Day2 分布式系统需求分析 本分析主要针对从原有代码向Spark的迁移。要注意的是Spark和传统开发有着截然不同的思考思路，所以我们需要首先对原有代码进行需求分析，形成改造思路后，再着手开发。 对于输入和输出，请注意，指的是以程序为边界的输入和输出情况。 主要迁移点： A:批 阅读全文
摘要：
Spark菜鸟学习营Day1 从Java到RDD编程 菜鸟训练营主要的目标是帮助大家从零开始，初步掌握Spark程序的开发。 Spark的编程模型是一步一步发展过来的，今天主要带大家走一下这段路，让我们从一段最最基础的Java代码开始。 问题:Java有哪些数据结构 大致有如下几种，其中List与M 阅读全文
摘要：
谈谈区块链技术与资产托管业务 最近区块链非常的火爆，在各个不同的场合都听到了不少的讨论。从商业角度的讨论比较多，讲的都很好，作为一名技术人员，也想从技术角度出发谈一下。 什么是区块链技术 先说下我对区块链的理解吧。 我大概是在2年前参加了一门比特币的课程，当时看到了区块链这个词。比较有意思的是，当时 阅读全文
摘要：
小课堂Week9 例外处理设计的逆袭Part2 今天继续阅读《例外处理设计的逆袭》这本书，我们先看两个案例： 案例1 问：如果要设计一个依据学号到数据库中查询学生资料的函数，当找不到符合条件的学习资料时候，是不是要丢出异常？ 分析： 根据Part1中的介绍，例外的生命周期包括fault、error、 阅读全文