Fork me on GitHub

07 2021 档案

摘要:SqlAlchemy 字段为JSON类型查询 要求Mysql5.7+ model class SysTestModel(Base): __tablename__ = "sys_test_data" id = Column(BIGINT, primary_key=True) name = Column 阅读全文
posted @ 2021-07-28 14:26 是阿凯啊 阅读(1926) 评论(0) 推荐(0) 编辑
摘要:1、前序 sparkSQL-2 2、spark程序的序列化 2.1 spark程序序列化描述 对于分布式计算来说,数据后期先需要进行序列化,然后发送给对应的其他计算节点,然后反序列化获取对象数据,最后进行任务执行。 2.2 程序序列化流程 1、在Driver端先把对象数据进行序列化 2、然后把序列化 阅读全文
posted @ 2021-07-13 17:38 是阿凯啊 阅读(74) 评论(0) 推荐(0) 编辑
摘要:SparkSQL-2 1.前言 sparksql-1 2、JDBC数据源 sparksql可以从mysql表中加载大量的数据,然后进行相应的统计分析查询,也可以把最后得到的结果数据写回到mysql表 2.1 通过sparksql加载mysql表中的数据 代码开发 package cn.doit.sp 阅读全文
posted @ 2021-07-13 17:29 是阿凯啊 阅读(97) 评论(0) 推荐(0) 编辑
摘要:1.ChainMap 当我们有2个字段o1和o2 你想将它们从合并后进行查找操作(比如先从o1找,如果o1找不到,再去o2找),如下: from collections import ChainMap o1 = {"a": 1, "c": 10} o2 = {"b": 5, "c": 4} o3 = 阅读全文
posted @ 2021-07-12 20:28 是阿凯啊 阅读(57) 评论(0) 推荐(0) 编辑
摘要:superset在centos7下快速安装 superset 是一款开源的BI工具。快速、轻量、直观,并加载了选项,使所有技能集的用户都可以轻松探索和可视化他们的数据,从简单的折线图到高度详细的地理空间图表文字源于官网。 安装 首先安装Anaconda3 Anaconda3下载 执行shell命令, 阅读全文
posted @ 2021-07-11 13:44 是阿凯啊 阅读(293) 评论(0) 推荐(0) 编辑
摘要:spark SQL 1.sparksql由来 shark是专门针对于spark构建大规模数据仓库系统的一个框架。它依赖于Hive,同时兼容spark。hivesql底层是把sql解析成mapreduce程序,shark(sql解析引擎)是把sql后期解析成了spark任务。 后期由于程序对性能要求比 阅读全文
posted @ 2021-07-05 20:24 是阿凯啊 阅读(98) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示