券商数字化创新场景数据中台实践
时下，众多金融机构在积极推行数字化改革，以适应时代高速革新。为回应市场对信息即时生效的迫切需求，各家券商机构都需要更具竞争力的信息服务。
本次方案结合券商场景与业务实践，围绕客户实际面临的业务和数据问题，输出整体建设方案，方案包括业务背景、业务痛点、以及相关解决方案和实际案例。
以上内容节选自案例集，点击链接下载完整案例集：https://www.dtstack.com/resources/1048
01 券商数据业务化面临的挑战
2014年被称为券商互联网化的元年，当时有券商选择和互联网平台合作，有的则自建平台。发展到现在，证券服务与人工智能、大数据、区块链、云计算等技术结合，推动证券行业真正开始数字化转型，行业的金融服务生态也被重构。但面对数字化转型这一课题，券商还面临诸多挑战：
数据共享难，数据创新成本高
部门间数据孤岛，缺乏企业统一数据出口，数据消费方式获取数据困难，难以发挥全域数据价值。
平台架构复杂，运维成本高
大数据开源组件众多+更新迭代快，安装部署维护使用的技术门槛高，数据开发效率低，资源利用率不高，存在浪费。
启动成本高，建设周期长
投资高、周期长：建设到投产以月为度量；
团队筹建：依赖专业团队负责管理复杂的数据平台，价值难以快速验证。
平台缺乏扩展性和灵活性
技术平台可扩展性限制+业务系统分散，存在部门/业务间资源争抢，数据处理技术没有做到自动化&在线化。
数据源多样、繁杂
APP、Web、IoT、三方等数据来源越来越多，如何采集、存储、加工、挖掘这些数据，并且利用新技术提升数据智能化水平成为一个关键问题。
数据是数字经济时代最核心的无形资产，券商对数据依赖程度非常高，从数据中不仅可以掌握机构的经营情况，可以识别用户的信用风险，还可以洞察市场的行情发展。
针对以上券商行业数据业务化的挑战，袋鼠云基于多年以来沉淀的行业及项目经验，覆盖客户“数字化能力体系建设——场景化应用”全方位的数字化需求，从而实现生产数字化、营销数字化、经营数字化、管理数字化。
02 券商数字化创新场景数据中台实践
本次方案结合券商场景与业务实践，围绕客户实际面临的业务和数据问题，输出整体建设方案，涵盖了证券行情、风险管理、信贷反欺诈、精准推荐、智能投研等多个业务板块的数字化升级。
交易型开放式指数基金可以分散投资并降低投资风险、交易成本低廉、投资者可以当天套利。ETF的运作，包括公开募集现金认购、公开募集股票认购、上市交易、申购和赎回、套利、投资组合管理、会计和估值、信息披露以及客户服务等9个环节，ETF的时效性往往由业务系统承担，通过ETF成交量、ETF现金头寸、ETF可用券头寸等进行监控，当阀值超过一定的标准，例如成份股持仓证券数量与PCF证券数量比<阈值，平台将实时进行相关的告警和相关预警。
证券投资组合是为了避免证券投资风险，确保证券投资的盈利性、流动性和安全性而对各种证券投资进行的合理搭配。通过添加预测评级提醒功能，方便研究人员观察自己组合内股票最新评级情况，以便更好的做投资决策。
最新预测调高、最新预测调低、最新机构首次关注、最新买入评级、最新评级调高和最新评级调低，当每天有标的进入符合提醒设置中的类型，平台会推送（根据推送设置）相关提醒信息。帮助交易研究人员进行第一时间信息捕获，调整交易策略。
离线数据仓库能够反映业务的历史情况，而实时数据仓库能够展现当前时刻的业务现状。袋鼠云实时开发平台是基于Apache Flink构建的亚秒级实时计算平台，采用自研FlinkX和FlinkStreamSQL作为技术底层，覆盖从实时数据采集到实时数据开发全链路流程，支持FlinkSQL和DataStream API作业开发，计算处理延时最低可达亚秒级别，并提供丰富的Metric运维监控曲线和日志功能，帮助金融机构快速的构建数据全流程实时处理体系。实时客户主要是针对私募产品及私募潜在客户营销服务的实时数服务支撑，主要包括私募潜在客户发现、私募营销信息发送、私募营销触达、私募资格开通以及私募产品销售统计，通过数据被OGG、AR等采集工具，通过CDC的方式采集到消息中间件中，通过Flink进行消费计算，结合历史离线数仓中的离线数据，进行运算，为业务口提供对应支撑。
基于离线开发平台、智能标签平台，结合不同客户的风险偏好、财富理念、财富场景、财富管理目标等，设计算法推荐模型，从而为客户制定个性化、高度可执行的长期一体化财富管理方案。
破板就是涨停板“破了”，一般是说一只股票拉升至涨停后，没有封住，抛单涌出，打开了股价的涨停板，就是破板。对于反复破板的股票，需要通过数据指标综合判断，是否主力利用涨停板吸引散户跟风实现出货。
涨停板开板的股票，封不住板，往往由于抛盘太重、主力出货、大盘跳水、非龙头股等原因导致破板。
通过对于行情数据以及用户持仓数据分析，实时订阅相关数据，进行实时计算持仓所对应的数据信息，针对数据做实时提醒。
提供新股一字板破板实时提醒、新股涨停板开板提醒两个选项，一字板破板对应的是实时行情，即只要新股未能封住连续的一字板，就需要实时提醒，需要体现其实效性，涨停板当日破板提醒是指根据当日收盘情况，如果当天收盘时未能实现连续涨停，则进行提醒，提醒时间设置在收盘后。
传统的证券MOT系统，由传统的系统厂商承建，数据主要以离线推送为主，业务流程中主要用户见证、用户信息提醒、生日关怀、用户身份识别等一些相关业务，根据不同的用户在系统中给用户行为做一个刻画，然后通过行为分析用户对哪些证券感兴趣并且投资的概率大小和一些及时证券消息的推送。通过数据实时化，将涉及行情以及柜台这部分数据进行是实时化处理，及时进行信息消息推送，在涉及见证、用户信息填写变更等过程中，及时发现问题，及时提醒，提升客户体验。
投资研究往往是自营以及资管业务的核心，涉及行业、企业、政策、经营风险、产业链等研究。
通过对金融数据的加工能力、金融数据产品化的能力，解决投研数据的一致性、及时性、准确性、时效性、权威性等问题。数据模型整个设计思路参照贴源层、模型层及应用层的模型设计原则，对金融机构资讯数据设计统一投研数据模型、投研应用数据模型，并对核心主题数据进行清洗。
结合投资过程中涉及的事前、事中、事后的业务流程拆解，进行标准化的建模，对于行情、资讯、持仓等数据进行统一建模规范，构建整体的投资研究模型，为业务决策、统计性指标提供相关支撑。
对于全链路交易过程中，涉及的事前、事中、事后的风险规则校验，结合实时规则触发以及历史数据计算，进行关于资产类、集中度、业绩止损类的相关校验。结合行情触发的价格条件、以及持仓设置的止损线、证券池比例，进行相关计算，将存在风险的数据，及时进行推送和处理，有效降低潜在风险。
标签选股，覆盖了基本面、技术指标、技术形态等多个方面，能够快速筛选出符合设定标签的股票列表；人工智能+选股，“标签选股”一键选出符合条件的股票。结合用户历史持仓和交易行为，及客户当前操作行为和投资情绪，对于用户进行标签和股票推荐。在股市中对于牛股的定义，不同人有不同的理解，大多数投资者会将在一个时间段内，涨幅远远高于其它个股的股票称为牛股。这种牛股一般情况下业绩良好，有远景题材，而且股价振幅弹性较强。既然是牛股探索，那么就得有个切入口，对于长线牛股，一般是从其基本面属性进行切入分析，比如盈利能力相关的净资产收益率（ROE），成长能力相关的净利润同比增长，资本结构相关的资产负债率，偿债能力的速动比率等指标。投资者可以针对自己的投资逻辑，以及系统记录的用户的风险偏好、用户行为特征及持仓特征，为用户推荐所需要的标签，客户可根据标签进行筛选，其中包括对于技术面、股票态势进行标签圈选，圈选出自己关注的投资标的进行研究和投资。
券商可根据用户在PC炒股、手机炒股时发生的行为、情绪、用户活跃进行分析，通过运营的手段，对于消费者进行投资帮助、以及更多的新闻资讯服务，同时通过线上行为，进行及时奖励，通过积分、等级、用户类别，进行用户活动推荐与运营。
同时，可对用户线上特征与行为，结合持仓、交易行为，进行及时互动，进行社区、投资相关服务推荐。
随着数字化转型进入深水区，券商的数字化投入持续增加，成为创新产品和服务模式、提升运营效率、增强盈利能力、提高风控合规效能的有力抓手。袋鼠云深耕数字化服务8年，尤其在金融领域，具备完善的产品、解决方案能力，已经基本覆盖了头部梯队的券商客户。
截至目前，袋鼠云已服务中国银联、中信银行、华夏银行、杭州银行、中原银行、国泰君安证券、招商证券、中金公司、中国银河、中信建投、国信证券、光大证券、华夏基金、平安人寿、亚太财险、国华人寿等近百家金融行业客户，帮助客户实现降本增效、快捷转型以及创新力提升。
CCF大数据与计算智能大赛（以下简称CCF BDCI）由中国计算机学会2013年创办。是大数据与人工智能领域的算法、应用、系统、行业大型挑战赛事。大赛已经成为中国大数据与人工智能领域最具影响力的活动之一，是大数据综合赛事第一品牌。
第十届CCF BDCI 聚焦数字经济创新应用，共有262支团队参赛，经过3个月的角逐，袋鼠云团队凭借《券商数字化创新场景数据中台实践》，入选此次大赛案例集。
以上内容节选自案例集，点击链接下载完整案例集：https://www.dtstack.com/resources/1048
《数栈产品白皮书》：https://www.dtstack.com/resources/1004?src=szsm
《数据治理行业实践白皮书》下载地址：https://www.dtstack.com/resources/1001?src=szsm
想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友，浏览袋鼠云官网：https://www.dtstack.com/?src=szbky
同时，欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」，交流最新开源技术信息，qun号码：30537511，项目地址：https://github.com/DTStack
