又被夺命连环问了!从一道关于定时任务的面试题说起。
你好呀,我是歪歪。
定时任务,大家在开发的过程中肯定都是接触过的。
歪师傅面试的时候关于定时任务一般都会问这样的一个问题:在实际开发的过程中,你们是如何避免定时任务重复执行的呢?
什么意思呢?
我给你上个图你就明白了。
假设我们有个订单服务的微服务,它部署在两台机器上:

这是一个再正常不过的部署方案了吧。
现在有一个需求来了:要从数据库里面获取前一日状态为成功的订单,然后把这些订单一笔笔的调用其他服务的接口,通知给他们。
写代码的时候很简单,基于 Quartz 框架,咔嚓几下就能搞出一个定时任务来,伪代码如下:
//每天10点触发一次
@Scheduled(cron = "0 0 10 * * ?")
public void sendOrder() {
//查询前一日状态为成功的订单
List<Order> orderList = selectSuccessOrder();
for (Order order : orderList) {
//发送订单到数据分析服务
sendOrder(order);
}
}
测试的时候也非常的正常,看不出任何毛病。
但是一上生产就完犊子了,为什么呢?
因为测试环境一般来说就只部署一台服务器,但是生产环境是多台呀:

每天 10 点一到,两台机器都跑起来了...

同样的逻辑跑了两次,一下就瓜起了涩,这肯定不是我们想要的结果。
问:这个情况你怎么处理?
在实际开发的过程中,我理解大家理论上都会遇到这个问题的。
歪师傅当年还是一个小萌新,第一次遇到这个问题的时候,是怎么考虑的呢?
抠了抠脑袋,想到一个自己觉得非常靠谱的解决方案。
各个微服务提供接口,接口内部实现定时任务的业务逻辑。然后抽离出一个专门的定时任务微服务,在这个服务中开发定时任务,来调用对应的接口:

由于“定时任务微服务”只部署在一台服务器上,所以当定时任务的时间一到,只会发起一次 RPC 调用,具体调用哪一台服务,由 RPC 的负载均衡来决定。
从而规避了前面提到的“触发两次”的问题。
当时我还觉得微服务的思想还是真是厉害,这样一抽离之后,业务代码和定时逻辑彻底分离开来,横向扩展也不需要考虑“多次触发”的问题:

但是,问题随着就来了:定时任务服务只部署了一台,它有单点风险啊,它挂了,所有的定时任务不就都挂了吗?
我知道在有的公司,实际情况就是这样的,知道服务有单点风险,但是评估下来,觉得是可以接受的,大不了就是做好服务监控,出了问题就赶紧重启一波服务。
所以遇到这个问题的解决方案就是:不管它。

但是,朋友,面试的时候你能这样回答吗,你是去调侃面试官的吗?
所以,该怎么办?
单点问题,很好解决,针对“定时任务服务”多部署一台服务器就行了:

但是,调用关系怎么办呢?
时间一到,咔的一下,两台“定时任务服务”都跑起来了,都对下游发起了 RPC 调用,这不又出现了前面这样“调用两次”的问题吗:

开始套娃了,你说怎么办?
这个时候歪师傅又抠了抠脑袋,又想到一个自己觉得非常靠谱的解决方案。
关于这个问题,我先换个壳问你:如果有多个请求过来,但是我们同一时间只想让一个请求正常执行,请问你怎么办?
一般来说我们都会想到加锁嘛。
单机的话,什么 synchronized,ReentrantLock 这些玩意就使劲儿往上怼。
多台服务就上分布式锁嘛,Redis、Zookeeper 拿出来秀一秀嘛,对不对?
比如,如果我们用 Redis,怎么做?
在发起 RPC 调用之前先从 Redis 里面拿锁,多台机器,谁拿到了,谁就可以执行:
//每天10点触发一次
@Scheduled(cron = "0 0 10 * * ?")
public void sendOrder() {
//获取redis锁
if(SET key value expireTime nx){
//拿到锁的才能调用订单服务发送成功订单逻辑的接口
callOrderRPC();
}
}

这样即使某一台服务器上的服务挂了,另外一台也能确保定时任务按时触发,并表示非常开心:很好,没人和我抢锁了。
或者说基于 zookeeper 来做。
比如我们定时任务的服务启动的时候,以服务名称维度向 zk 申请一个临时节点。
谁申请成功了,谁就算加锁成功了,虽然到点之后每个定时任务都会按时触发,但是和 Redis 同理,只有拿到锁的实例才能执行定时任务。
没有拿到锁的怎么办呢?
监听这个临时节点,处于随时待命状态。如果当前持有锁的服务挂了,那么临时节点也就没了,相当于锁就释放了,就可以上手抢锁了。
抢到锁,就可以执行定时任务,这样也能保证高可用。
如果是面试,针对“避免定时任务重复执行”能回答到分布式锁这里,我认为就可以了。
但是,朋友,这可是面试,面试一般是出连招的。
如果我突然画风一转,顺势提出下一个问题:
用分布式锁,可以通过只让一台机器运行的方式解决重复运行的问题。现在我换个场景,问问题,如果我昨日成功的订单数据量比较多,假设有 100w 笔吧,如果只在一台机器上跑,即使开启多线程,也需要很长的时间,而且是一台机器忙的不行,不太机器在旁边闲的不行。如果我想要充分把机器利用起来,让两台机器都来处理这 100w 笔订单,各自处理 50w 条,时间不就缩短了吗?
就像是这样:

请问,阁下又该如何应对?
ElasticJob
好了,前面铺垫了这么多,终于要引出 ElasticJob 这个玩意了。
这是官方文档的地址:
https://shardingsphere.apache.org/elasticjob/current/cn/overview/

其中有一个章节叫做“弹性调度”:
弹性调度是 ElasticJob 最重要的功能,也是这款产品名称的由来。 它是一款能够让任务通过分片进行水平扩展的任务处理系统。

从关于“分片”的描述中,我们知道也许能在这里找到问题的答案。
虽然答案就在眼前,但是别猴急。按照歪师傅的风格,还是得先上个 Demo 作为引子,给你抽丝剥个茧。
这里顺便吐槽一句官方文档:

你这个“快速入门”写的是什么玩意,根本就不能用好吧?
quick start 不能拿来即用,对于本白嫖党来说,是很难受的,好吗。
害得我还得自己摸索一下,还好整体并不复杂,你按照歪师傅给你提供的“快速入门”,五分钟足够搭个 Demo 了。
首先,新建一个 Spring Boot 项目,在 pom 文件中加入相关引用:
<dependency>
<groupId>org.apache.shardingsphere.elasticjob</groupId>
<artifactId>elasticjob-lite-spring-boot-starter</artifactId>
<version>3.0.1</version>
</dependency>
然后实现 SimpleJob 接口,自定义一个定时任务:
package com.example.elasticjobtest;
@Slf4j
@Component
public class SpringBootJob implements SimpleJob {
@Override
public void execute(ShardingContext shardingContext) {
log.info("SpringBootJob作业,分片总数是【{}】,当前分片是【{}】,分片参数是【{}】",
shardingContext.getShardingTotalCount(),
shardingContext.getShardingItem(),
shardingContext.getShardingParameter());
}
}
接着在 application.yml 里面添加配置:
elasticjob:
# 注册中心配置
regcenter:
serverlists: 127.0.0.1:2181
# ZooKeeper 的命名空间
namespace: why-elastic-job
# 作业配置
jobs:
springJob: # job的名称
elasticJobClass: com.example.elasticjobtest.SpringBootJob
cron: 0/5 * * * * ?
shardingTotalCount: 2
shardingItemParameters: 0=Beijing,1=Shanghai
就这几行代码,Demo 就算搭完了。
你自己说,这整个流程是不是五分钟够够的了?
在把服务启动起来之前,针对 application.yml 的配置,我先多 BB 几句。
里面这两个玩意是什么东西呢:

可以参考官方文档中的描述:
https://shardingsphere.apache.org/elasticjob/current/cn/user-manual/configuration/

shardingTotalCount 叫做作业分片总数,这个概念非常重要,理解了这个概念,就理解了 ElasticJob 的核心理念,先按下不表。
shardingItemParameters 叫做个性化分片参数,我这里写的是 0=Beijing,1=Shanghai,看起来很奇怪对不对,怎么突然冒出了北京和上海呢?
因为这也是官方文档中的案例:

这只是实例而已,当你理解了这个概念的用途之后,就可以按照自己的需求进行“个性化”配置。
Demo 跑起来
这个是 ElasticJob 的架构示意图:

可以看到它选择了 Zookeeper 做为自己的注册中心,所以在启动 Demo 之前,需要你把你本地的 Zookeeper 启动起来。
然后把 Demo 运行起来,观察日志输出:

你会发现每隔 5s 就会输出这样的日志:
2023-12-16 16:31:45.020 SpringBootJob作业,分片总数是【2】,当前分片是【0】,分片参数是【Beijing】
2023-12-16 16:31:45.020 SpringBootJob作业,分片总数是【2】,当前分片是【1】,分片参数是【Shanghai】
怎么样,看到日志输出之后是不是稍微品出了点淡淡的味道,就是那种虽然不知道怎么回事,但是总感觉马上就摸到门道的感觉。

保持住这种感觉,歪师傅马上就让你摸到门把手了。
为了模拟多个服务部署的情况,所以我们需要再多启动一个服务。
在 Idea 里面点击这个:

然后把“Allow multiple instances(运行多实例运行)”勾选上:

修改一下服务端口,避免端口冲突:

接着再次启动 Demo,观察一下日志:

标号为 ① 的地方是仅一台服务器运行的情况,两个分片都在这一个服务器上运行。
标号为 ② 和 ③ 的地方是两台服务器都运行起来的情况,同样的代码、同样的配置,跑在不同的端口而已。
一台的日志输出是这样的:
SpringBootJob作业,分片总数是【2】,当前分片是【1】,分片参数是【Shanghai】
SpringBootJob作业,分片总数是【2】,当前分片是【1】,分片参数是【Shanghai】
另外一台的日志输出是这样的:
SpringBootJob作业,分片总数是【2】,当前分片是【0】,分片参数是【Beijing】
SpringBootJob作业,分片总数是【2】,当前分片是【0】,分片参数是【Beijing】
可以看到,每隔五秒钟两台服务器都同时触发了定时任务,但是一台拿到的参数是 Shanghai,一台拿到的参数是 Beijing。
这个时候我们再回去看面试官的这个问题:
假设有 100w 笔吧,如果只在一台机器上跑,即使开启多线程,也需要很长的时间,而且是一台机器忙的不行,不太机器在旁边闲的不行。如果我想要充分把机器利用起来,让两台机器都来处理这 100w 笔订单,各自处理 50w 条,时间不就缩短了吗?
然后我再给你上个图:

每个机器上运行的代码是一样的,但是通过 ElasticJob 能让每个机器在运行定时任务的时候,拿到不一样的参数。
基于这个不一样的参数,我们就能搞很多事情了嘛。
比如 100w 数据,分为两组,一组 50w 条。假设 ID 是连续自增的,是不是可以这样判断奇偶数:
偶数:id % 2 == 0
奇数:id % 2 == 1
在这个表达式里面,每个数据的 id 是确定的,而这个“2”,你看它像不像是我们的“分片数”?至于这个“0”和“1”,是不是可以通过我们的“个性化分片参数”传递进来?
id % 分片数 == 个性化分片参数
比如我们写个这样的代码:

然后把作业配置改成这样的:

然后启动两个服务,我们观察一下日志输出:

一台机器处理的是 “1,3,5,7,9”,一台机器处理的是“0,2,4,6,8”
刚刚面试官的问题是啥来着?
两台机器处理 100w 笔订单,各自处理 50w 条?
这不就实现了吗?

再给你看一个神奇的东西,假设我在运行时把 shardingTotalCount 修改为 3,即分片数变成 3,对应的自定义参数也进行对应的修改,会发生什么事情呢?

按照我们之前的这个逻辑:
id % 分片数 == 个性化分片参数
0 到 9 这十个数字分别对 3 取模,那么就会分成下面这三组:
第一组:0,3,6,9 第二组:1,4,7 第三组:2,5,8
这个没有任何毛病,对不对?
然后还需要特别注意的是,我说的是“在运行时”修改。
怎么修改?
很简单,ElasticJob 其实提供了对应的管理后台页面可以进行参数修改,但是我这里偷个懒,难得去部署对应的管理后台,,准备换个简单的思路。
因为前面说了,ElasticJob 使用的是 zk 做为自己的注册中心,我直接用工具连接上 zk,然后修改 zk 节点就行了。
我是怎么知道修改 zk 的哪个节点的呢?
别着急,等下就讲,歪师傅先带你看效果。
我这里用的工具是 ZooInspector,修改之后直接点击保存:

然后,朋友们,注意了,看日志输出

为了让你看的更加清楚,我把关键日志单独拿出来:
第一台机器上的日志是这样的:
分片总数是【3】,当前分片是【1】,分片参数是【1】,处理的数据 date=【1,4,7,】
第二台机器上的日志是这样的:
分片总数是【3】,当前分片是【0】,分片参数是【0】,处理的数据 date=【0,3,6,9,】
分片总数是【3】,当前分片是【2】,分片参数是【2】,处理的数据 date=【2,5,8,】
和我们前面推理的结果一模一样。
好,到这里就可以解答我的一个“按下不表”了。
首先,shardingTotalCount 叫做作业分片总数,在我前面的例子中,作业分片总数一共是 3 片:
第一组(第一片):0,3,6,9 第二组(第二片):1,4,7 第三组(第三片):2,5,8
分成三片之后,Elasticjob 怎么知道每一片应该处理哪些数据呢?
它不知道,它也不用知道。它只需要告诉每一台服务器:“来,哥们,给你一个号你拿着。你们这波一共有多少多少个人,你是第几片。”
就完事了。
因为“昨日成功的订单”这个总的要处理的数据是不变的,所有每一台服务器知道一共要把这批数据分成几片,自己是第几片后,通过代码就能拿到对应的该处理的数据。
然后你再去看官方描述中关于“分片项”你大概就能知道这到底是个啥玩意了:

有的哥们比较猛,一次拿到两个号,也没关系,就是多处理一份数据嘛。这种情况就适用于两台机器的性能不一致的情况。
但是我用这个案例并不是为了引出“性能不一致”这种极少数的情况,而是为了这个...

当我再启动一个新的服务器,当第三台服务器加入之后,我们啥也没干,它自己就开始处理任务了。
3 个分片,一台服务器处理一个分片的数据。
能自动加入,就能自动退出,所以假设我把一台服务给关闭了:

从日志可以看出来,数据并没有丢。
第一台机器把本来该在下线的这台服务器上处理的数据给接管了:
分片总数是【3】,当前分片是【2】,分片参数是【2】,处理的数据 date=【2,5,8,】
分片总数是【3】,当前分片是【0】,分片参数是【0】,处理的数据 date=【0,3,6,9,】
好了,到这里,基本功能就算演示完成,可以适当的响起一些掌声了。

啥原理啊?
其实关于原理,官方文档上也按照步骤进行了比较详细的说明:
https://shardingsphere.apache.org/elasticjob/current/cn/features/elastic/

如果你不了解 zk 的大致工作原理、节点特性、监听机制啥的,后面肯定会看得比较懵逼。
所以需要先去补一下这方面的信息,对于这部分的描述和源码的解读有很大帮助。
如果你能大致理解 zk 的工作原理,那么整体读下来其实没有什么特别难以理解的地方,如果要深入理解每一个步骤的话,那肯定要读一下源码的。
步骤都有了,去找对应的源码,不就是按图索骥,手拿把掐的事情吗。
在阅读源码之前,还有一个非常重要的东西要铺垫一下,前面也说了:基于 zk 做的注册中心。
所以你必须要了解“注册中心的数据结构”是怎么样的,每个节点是干啥的,才能理解代码里面操作 zk 节点的时候,到底是什么含义。
关于注册中心的数据结构,文档上也有介绍:

我觉得这个还是非常重要的,所以我多啰嗦几句,主要给你看看实际的数据是怎么样的。
还是以我本地启动三个服务为例。
启动起来之后,看 zk 上注册了这些节点:

其中“why-elastic-job”和“springJob”分别是我们写在 application.yml 里面的 ZooKeeper 的命名空间和 Job 名称:

config 节点
config 节点里面是作业配置信息,以 YAML 格式存储:

可以看到节点里面实际的值比我们配置的多,因为有很多默认项。每个默认项是干啥的,就自己去研究吧。
前面我说的“运行时修改”,就修改的是这个地方信息。
我为什么知道改这里?
还不是官网告诉我的。
instances 节点
该节点是作业运行实例信息,子节点是当前作业运行实例的主键。
作业运行实例主键由作业运行服务器的 IP 地址和 PID 构成。
作业运行实例主键均为临时节点,当作业实例上线时注册,下线时自动清理。注册中心可以监控这些节点的变化,来协调分布式作业的分片以及高可用。
具体到我们这个案例中,是这样的:

instances 下面有三个子节点,代表有三个微服务。
假设我停止运行一个服务,由于是 zk 的临时节点,这个地方就会变成 2 个:

sharding 节点
作业分片信息,子节点是分片项序号,从零开始,至分片总数减一。比如我们这里就是 0 到 2:

分片项序号的子节点存储详细信息,每个分片项下的子节点用于控制和记录分片运行状态:

sharding-0-instance:192.168.2.16@-@4964 sharding-1-instance:192.168.2.16@-@2224 sharding-2-instance:192.168.2.16@-@4964
可以看到 0,2 分片是运行在同一个 instance 上的,这一点和日志是匹配的:

sharding 下除了 instance 节点外,可能还有其他的节点,详细信息说明如下:

servers 节点
作业服务器信息,子节点是作业服务器的 IP 地址。
可在 IP 地址节点写入 DISABLED 表示该服务器禁用。
在新的云原生架构下,servers 节点大幅弱化,仅包含控制服务器是否可以禁用这一功能。
为了更加纯粹的实现作业核心,servers 功能未来可能删除,控制服务器是否禁用的能力应该下放至自动化部署系统。

leader 节点
作业服务器主节点信息,下面有三个子节点:
election:用于主节点选举 sharding:用于分片 failover:用于失效转移处理
除了节点介绍外,在官网描述上有这样的一句话:

换句话说就是,如果你想了解作业,那这个节点是很重要的。看源码的时候,需要特别关注对于 leader 节点下的操作。
在我们的案例中,instance 里面的信息是这样的:

表示这个节点是主节点。
源码
知道了 zk 上每个节点的用处,看源码的时候比着看就行了。
源码比较多,歪师傅这里只能带着你做个非常简单的导读。
首先,因为很多逻辑都是基于 zk 节点在来做的,所以最重要的是各种各样的 zk 节点监听器,ElasticJob 在启动时,会执行这个方法,开启监听器:
org.apache.shardingsphere.elasticjob.kernel.internal.listener.ListenerManager#startAllListeners

比如前面说的这个节点:

如果这个节点存在,则说明需要重新分片,对应的监听器是这个:
shardingListenerManager.start();
那么什么时候会触发“重新分片”呢?
如果分片总数变化,或作业服务器节点上下线或启用/禁用,以及主节点选举,会触发设置重分片标记 作业在下次执行时使用主节点重新分片,且中间不会被打断作业执行时不会触发分片
所以在 shardingListenerManager 监听器里面我们可以看到这两个逻辑:

满足条件之后,就会执行设置重新分片标识的代码:
shardingService.setReshardingFlag();
该方法里面,创建了一个新的节点:

这个节点,就是它:

再比如,看看这个方法:
org.apache.shardingsphere.elasticjob.lite.internal.sharding.ShardingService#shardingIfNecessary

这个方法是做对作业进行分片逻辑的。
对作业进行分片,首先我们要知道当前有哪些实例在运行,对不对?
那怎么才能知道呢?
instances 节点请求出战:

shardingIfNecessary 方法的第一行逻辑就是读取 instances 节点下的数据:

获取到节点之后,是不是就可以分片了?
理论上是这样的,但是别着急,你看源码里面还有这样一个判断:

isLeaderUntilBlock,看方法名称也知道了,看看 Leader 节点是不是到位了,如果没到位,需要等一下 Leader 选举结束。
怎么判断 Leader 节点是不是到位了?
前面文档中说了,就是看这个节点是否存在:

对应到源码就是这样的:

所以这就是我前面说的,你看源码的时候得结合 zk 节点的用途一起看,知道节点的用途就能理解源码里面操作节点的目的是什么。
然后,在这里多说一句。
shardingIfNecessary 这个方法是读取配置,处理分片逻辑的。
但是这个方法在每一个实例中都会运行,岂不是每个实例都会执行一次分片逻辑?
这样处理的话,由于多个地方执行分片逻辑,就需要考虑冲突和一致性的问题,导致逻辑非常的复杂。
虽然这个方法每个实例都会执行,但是其实只需要有一个实例执行分片逻辑就行了。
那么哪个节点来执行呢?
你肯定也猜到了,当然是主节点来干这个事儿嘛。如果当前节点不是主节点 return 就完事了:

怎么看当前节点是否是主节点呢?
前面已经出现多次了,zk 里面记录着的:

如果当然节点是主节点,就接着往下执行,就是“作业分片策略”了:

目前官方提供了三个不同的分片策略:

对应的实现类是这样的:

逻辑都非常简单,上手 Debug 两次就能摸清楚。
建议直接把项目拉下来,然后从测试用例入手。

好了,源码导读就到这里了。
我觉得我已经算是告诉你关于 ElasticJob 源码阅读的方式和注意点,如果你掌握到了,留言区留言“清晰”二字,支持一波。
如果你还是云里雾里的,没事,是我的问题。大胆的说出来:什么玩意?看求不懂。呸,垃圾作者。
如果你是第一次接触到 ElasticJob,那么读到这里的时候,你的内心关于 ElasticJob 应该还有很多疑问以及不清楚的细节。
很好,带着你的问题,去翻源码吧。
源码之下无秘密。
下面这个环节叫做[荒腔走板],技术文章后面我偶尔会记录、分享点生活相关的事情,和技术毫无关系。我知道看起来很突兀,但是我喜欢,因为这是一个普通博主的生活气息。
荒腔走板

这周终于是把《长安三万里》看了,之前一直想看,但是又被三个小时的时长劝退。
我个人觉得确实是值得豆瓣高分的。
看完之后,包括看的过程中,我老是想起之前在网上看到的一段话,关于“一颗子弹”和“教育闭环”的。
“一颗子弹”是指在《我与地坛》看到的一段书评,其内容是:一个人十三四岁的夏天,在路上捡到一支真枪,因为年少无知,天不怕地不怕,他扣下扳机。没有人死,也没有人受伤,他认为自己开了空枪。后来他三十岁或者更老,走在路上听到背后隐隐约约的风声。他停下来回过身去,子弹正中眉心。
“教育闭环”是指教育具有长期性和滞后性,起初你只能理解表层的道理,直到多年后的某个瞬间,你才能真正领悟到书上知识的真谛,此时教育的任务才算真正完成。
我小时候读到“两岸猿声啼不住,轻舟已过万重山”的时候,重点总是在“两岸猿声”上,想象着猿猴的叫声是什么样的,那是一番怎样有趣的画面。
后来,甚至可以说是今年,这个电影上映之后,我才明白当年读书的时候我忽略的“轻舟已过万重山”背后才是有更加蜿蜒曲折、激动人心的故事。
这句诗就是当年的那一颗子弹,命中了马上三十岁的我,至此,教育才算完成了闭环。
今年,让我产生同样感受的,还有当年完全忽略的这句话:孔乙己是站着喝酒而穿长衫的唯一的人穿的虽然是长衫,可是又脏又破似平十多年没有补,也没有洗。他对人说话,总是满口之乎者也叫人半懂不懂的。
此外,电影中多次提到“长安”,虽然我们学的是同样的课本,读的是一样的诗,但是每个人对与“长安”的认知和理解是不一样的。
现在提到长安,我脑海中出现的第一个画面永远是当年看《河西走廊》纪录片的时候那一个画面。
第一集《使者》,张骞出使西域,被匈奴囚禁九年后同随从堂邑父出逃,继续西行。
靠强大意志力穿越塔克拉玛干沙漠和帕米尔高原,到达西域。回程再次被俘,数年后带匈奴妻子和堂邑父又一次出逃东归。
十三年后,终于再次望到长安城,张骞匍匐在地,长跪不起。
西北望长安,可怜无数山。
这一跪,看的我眼泪婆娑。

【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 没有源码,如何修改代码逻辑?
· NetPad:一个.NET开源、跨平台的C#编辑器
· PowerShell开发游戏 · 打蜜蜂
· 在鹅厂做java开发是什么体验
2019-12-18 【原创】这道面试题我真不知道面试官想要的回答是什么