思考：企业中如果实施算法？
2019-11-13 11:19 乘着风去破浪 阅读(244) 评论(0) 编辑 收藏 举报
思考：企业中如果实施算法？
在企业中，做推荐或者实施算法的步骤
1.先要收集数据，包括用户数据，用户行为数据，如果是推荐的话，要收集商品或者素材的数据，总之要收集算法处理的人和物；
收集数据如果没有现成的话，可能需要埋点，需要端上或者FE配合来进行埋点，然后进行定期上报，上报到大数据部门后，
由大数据部门来放到hive表或者kafka由具体的算法部门的工程师来进行ETL，然后落入到整理好的表中；
一般的表有请求表，曝光表，点击等行为日志表；这三个表要形成一个闭环来支持后面算法的训练的输入或者效果指标的计算；
有了数据后，算法工程师可以进行分析，对数据的分布进行一些统计分析，然后
了解一些后，根据经验或者进行业界调研，挑选模型，然后进行特征工程，把模型需要的数据准备后，
进行训练，验证，最后把模型弄到线上，提供线上服务；
而工程工程师需要开发在线服务，从接口到调用算法模型进行串起来，当然这中间还有很多的必不可少的环节：
包括调用实验系统进行多组多层的A/Btest,抽取特征数据，进行召回等等；在算法排序完成后还有可能进行重排等；
最后返给给端上呈现给用户；
