Dataframe学习

Dataframe

实际生产环境中,dataframe相较于sql开发更为灵活,便于调试
目前该项目中,我主要负责数据存储和计算,刚进入项目时间很短,所以也是一个熟悉业务和公司框架的时间
使用框架还是以scala代码为基础,底层封装多为java,也有scala。
封装了对各种数据库的连接,诸如oracle,redis,kudo等数据库
所以我们实际开发就异常轻松,只需调用封装好的代码,直接实现dataframe的代码逻辑,即可完成对表的开发

第一周

简单的完成了几张表的创建
目前都是根据文档进行代码实现,并无实际数据和测试数据,后期再看
除了使用封装的代码,像计算函数复杂的,并且不止一次使用的,可以写udf函数实现

posted @ 2021-09-11 11:10  xiaolee_bigdata  阅读(53)  评论(0编辑  收藏  举报