Linkis 0.9.2 版本发布
GitHub地址:https://github.com/WeBankFinTech/Linkis
什么是Linkis?
Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。
特性增强
- [Linkis-193] 部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用SSH和SCP。
- [Linkis-194] 环境检查:在安装Linkis之前先检查依赖的所有Linux命令和环境,如果检查失败,则直接退出安装部署。
- [Linkis-195] 服务检测:在start-all脚本里面对服务是否正常启动进行检查,如果服务不正常则给出错误日志。
- [Linkis-191] 依赖优化:将hadoop相关工具类从公共core/common模块移到单独的core/hadoop-common模块,减少包冲突问题.
- [Linkis-192] 依赖优化:core/common模块不再依赖httpclient相关jar包,统一移到core/linkis-httpclient模块.
- [Linkis-196] 统一分配Linkis各个服务的端口,从9100开始分配.
- [Linkis-197] Linkis支持通过配置SERVER_HEAP_SIZE环境变量,统一指定所有微服务的堆内存大小.
- [Linkis-198] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外,新增一种通过参数配置的方式获取。
- [Linkis-199] 统一微服务的启动脚本,方便后续统一修改.
- [Linkis-200] 将公共依赖的模块放到public-module,减少包冲突和降低安装包大小.
- [Linkis-201] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.
- [Linkis-208 ] 在安装脚本中新增haoop/hive/spark版本兼容性检测,如果版本不兼容,会提醒用户是否选择继续安装.
- [Linkis-221 ] 增强Linkis-RM模块,使RM可以获取更多hadoop版本的Yarn队列信息.
- [Linkis-174 ] 增强metadata模块,使metadata支持访问postgresql类型的hive元数据库.
Bug修复
- [Linkis-175] 将yarn的默认队列从ide修改为default.
- [Linkis-202] 移除Entrance错误码功能对hdfs的依赖,使精简版可以完全不依赖hadoop.
- [Linkis-205] SQL注释优化,在--后面加空格.
- [Linkis-210] 修复BML访问hdfs的权限问题.
- [Linkis-218] 从start和install脚本中移除yum命令,兼容更多的unix系统.
- [Linkis-226] 优化metadata模块,使引入的hive包,排除对Jackson包的依赖,降低包冲突风险.
- [Linkis-229] 排除公共依赖public-module中的Jasper包,降低包冲突风险.
- [Linkis-143] Linkis的配置文件增加对中文配置的支持.
贡献者
最后但是最重要的一点是,如果没有以下贡献者不可能发布此版本,在此感谢各位社区的贡献者!
排名不分先后(按字母排序):
allwefantasy: 增加了MLSQL引擎.
chenxi0599: 修复filesystem在日志打印错误问题.
hj2016: 解决当Yarn为Capacity调度获取最大资源时,由于maxEffectiveCapacity参数不存在导致的bug.
houjunxiong: 增强模块metadata对hive的元数据库类型为postgresql的支持.
Just-do-it-Fan: 增加ResourceManager模块对Yarn的Capacity调度支持.
leisore: 修复start和stop脚本命名问题.
liangqilang: 修复httpclient下载文件抛NullPointException的bug和增加流传输下载结果集功能,等多个特性.
nimuyuhan: 修复配置文件不支持中文bug.
patinousward: 修复多个bug,并在metadata模块中增加建表功能.
wForget:提供了linkis的CDH5.7.6可用的发布版本.
zhanghaicheng1: 增加部署安装问题文档.