深度学习分布式训练及CTR预估模型应用
前言：我在github上创建了一个新的repo：PaddleAI, 准备用Paddle做的一系列有趣又实用的案例，所有的案例都会上传数据代码和预训练模型，下载后可以在30s内上手，跑demo出结果，让大家尽快看到训练结果，用小批量数据调试，再用全量数据跑模型，当然，也可以基于我上传的预训练模型进行迁移学习，如果大家有需要的话。今天刚写好第一个项目，用Paddle做广告CTR预估，来源于Kaggle的比赛Display Advertising Challenge, 感兴趣的读者往下看～（也可以留言期待的todo案例）
github：https://github.com/huxiaoman7/PaddleAI
Paddle models：https://github.com/PaddlePaddle/models
欢迎大家star、fork、提issue和贡献新案例～
数据准备
数据说明
-
数据来源：Kaggle公司举办的展示广告竞赛中所使用的Criteo数据集。该数据包含数百万展示广告的特征值和点击反馈，目的是对点击率（CTR）的预测做基准预测。
-
数据背景：Criteo是在线效果类数字营销厂商，于2005年在法国巴黎成立，目前的核心业务是重定向广告（retargeting）。Criteo在全球范围内共有31间办事处，有6间位于欧洲，有5间位于北美，有1间在巴西，在亚太地区总共有5间办事处。Criteo是在线效果类展示广告厂商于2014年5月13日宣布启动在中国的业务和运营，并将北京设为中国区总部所在地。Criteo的核心产品主要包括访客广告、流失客户广告、移动应用内效果型广告和AD-X 移动广告跟踪分析产品等。Criteo拥有世界领先的自主学习式推荐引擎和预测引擎，能够通过其对于市场的洞察提供可评估的结果，因而能够在正确的时间通过推送广告，将对的产品推荐给对的用户。并且，随着每一条广告的交付，Criteo的引擎在预测和推荐方面的精确性也不断提高。
-
数据格式：
- 格式：
-
训练数据：train.txt：Criteo 公司在七天内的部分流量。每行对应的是Critio的展示广告，第一列代表该广告是否被点击。我们对正样本（已点击）的和负样本（未点击）均做了子采样来减少数据量。类别特征的值已经过哈希处理为64位来进行脱敏。特征的语义没有公开，并且有些特征有缺失值。行按照时间排序。
- 示例（只显示了前20列）
- 测试数据：test.txt：测试集于训练集的计算方式相同，但对应的是训练集时间段的后一天的事件。并且第一列（label）已被移除。
- 示例（只显示了前20列）
数据处理
-
下载数据
cd data && ./download.sh && cd .. -
数据读取
-
code：reader.py
-
原始数据中前13个feature为int型，通过reader.py将其做了数据归一化处理为float型，避免过大和过小的数据在模型训练中的影响。
.── CriteoDataset │ ├── train │ ├── test │ ├── infer -
具体代码：
1 class CriteoDataset(Dataset):
2 def __init__(self, sparse_feature_dim):
3 self.cont_min_ = [0, -3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
4 self.cont_max_ = [20, 600, 100, 50, 64000, 500, 100, 50, 500, 10, 10, 10, 50]
5 self.cont_diff_ = [20, 603, 100, 50, 64000, 500, 100, 50, 500, 10, 10, 10, 50]
6 self.hash_dim_ = sparse_feature_dim
7 # here, training data are lines with line_index < train_idx_
8 self.train_idx_ = 41256555
9 self.continuous_range_ = range(1, 14)
10 self.categorical_range_ = range(14, 40)
11
12 def _reader_creator(self, file_list, is_train, trainer_num, trainer_id):
13 def reader():
14 for file in file_list:
15 with open(file, 'r') as f:
16 line_idx = 0
17 for line in f:
18 line_idx += 1
19 if is_train and line_idx > self.train_idx_:
20 break
21 elif not is_train and line_idx <= self.train_idx_:
22 continue
23 if line_idx % trainer_num != trainer_id:
24 continue
25 features = line.rstrip('\n').split('\t')
26 dense_feature = []
27 sparse_feature = []
28 for idx in self.continuous_range_:
29 if features[idx] == '':
30 dense_feature.append(0.0)
31 else:
32 dense_feature.append((float(features[idx]) - self.cont_min_[idx - 1]) / self.cont_diff_[idx - 1])
33 for idx in self.categorical_range_:
34 sparse_feature.append([hash(str(idx) + features[idx]) % self.hash_dim_])
35
36 label = [int(features[0])]
37 yield [dense_feature] + sparse_feature + [label]
38
39 return reader
模型训练
网络结构
- code: network_conf.py (只用到ctr_dnn_model) 详细讲解
训练方式
单机训练
python train.py \
--train_data_path data/raw/train.txt \
2>&1 | tee train.log
分布式训练
运行方式
sh cluster_train.sh
调用接口
1 pe = fluid.ParallelExecutor(
2 use_cuda=False,
3 loss_name=loss.name,
4 main_program=train_program,
5 build_strategy=build_strategy,
6 exec_strategy=exec_strategy)
7 logger.info("run dist training")
8 t = fluid.DistributeTranspiler()
9 t.transpile(args.trainer_id, pservers=args.endpoints, trainers=args.trainers)
10 if args.role == "pserver" or args.role == "PSERVER":
11 logger.info("run pserver")
12 prog = t.get_pserver_program(args.current_endpoint)
13 startup = t.get_startup_program(args.current_endpoint, pserver_program=prog)
14 exe = fluid.Executor(fluid.CPUPlace())
15 exe.run(startup)
16 exe.run(prog)
17 elif args.role == "trainer" or args.role == "TRAINER":
18 logger.info("run trainer")
19 train_prog = t.get_trainer_program()
20 train_loop(args, train_prog, py_reader, loss, auc_var, batch_auc_var,
21 args.trainers, args.trainer_id)
注：batch_size由默认的1000修改为64，可提高auc
训练结果
-
单机训练
- 速度太慢，迭代到第1轮batch= 4919时就停住了
-
分布式训练
-
设置：2pserver、2trainer
-
训练日志：alldata/log/trainer0.log 、alldata/log/trainer1.log
-
训练结果：
-
2019-05-11 08:34:19,678-INFO: TRAIN --> pass: 9 batch: 2577 loss: 0.467225006104 auc: 0.787909292672, batch_auc: 0.797377570934
pass_id: 0, pass_time_cost: 3150.447569
pass_id: 1, pass_time_cost: 3177.322331
pass_id: 2, pass_time_cost: 3174.676812
pass_id: 3, pass_time_cost: 3209.558880
pass_id: 4, pass_time_cost: 3134.910369
pass_id: 5, pass_time_cost: 3202.956675
pass_id: 6, pass_time_cost: 3169.575809
pass_id: 7, pass_time_cost: 3210.294044
pass_id: 8, pass_time_cost: 3039.102302
pass_id: 9, pass_time_cost: 3036.933163
模型预测
预测方式
python infer.py \
--model_path models/pass-0/ \
--data_path data/raw/valid.txt
预测结果：
- log：alldata/log/infer.txt
2019-05-13 09:35:49,177-INFO: TEST --> batch: 4500 loss: [0.46127334] auc: [0.78797872]
实验对比
原始数据情况
| label | 数量 | 比例 | |
|---|---|---|---|
| 负样本 | 0 | 34095179 | 0.74377662 |
| 正样本 | 1 | 11745438 | 0.25622338 |
实验数据：
- mini-demo：1%的全量数据
- demo：10%的全量数据
- raw：全量数据
BaseLine实验
-
数据说明： mini-data(1%全量数据)
-
网络配置：一层网络，batch_size =1000
-
修改方式：
-
在network_conf.py 第151行修改,如下如所示，将input=fc3 修改为input=fc1
-
在cluster_train.sh 里第35行和第47行将batch_size=64 修改为batch_size=1000
-
-
运行方式：
- 修改完以上两个文件后，执行：sh cluster_train.sh
-
输出日志：
- pserver：pserver0.log、pserver1.log 参数服务器的输出日志
- trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果
-
实验效果
- 训练时间：33s（一轮迭代）
- auc：0.50234167
优化实验（一）：优化网络层
-
数据说明： mini-data(1%全量数据)
-
网络配置：三层网络，batch_size =1000
-
修改方式：
-
在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3
-
在cluster_train.sh 里第35行和第47行将batch_size=64 修改为batch_size=1000
-
-
运行方式：
- 修改完以上两个文件后，执行：sh cluster_train.sh
-
输出日志：
- pserver：pserver0.log、pserver1.log 参数服务器的输出日志
- trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果
-
实验效果
- 训练时间：35s（一轮迭代）
- auc：0.54893279
优化实验（二）：调整batch_size
-
数据说明： mini-data(1%全量数据)
-
网络配置：三层网络，batch_size =64
-
修改方式：
-
在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3
-
在cluster_train.sh 里第35行和第47行将batch_size=1000 修改为batch_size=64
-
-
运行方式：
- 修改完以上两个文件后，执行：sh cluster_train.sh
-
输出日志：
- pserver：pserver0.log、pserver1.log 参数服务器的输出日志
- trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果
-
实验效果
- 训练时间：103s（一轮迭代）
- auc：0.74322927
优化实验（三）：增加数据集
-
数据说明： 全量数据
-
网络配置：三层网络，batch_size =64，数据量由10%数据（demo_data）扩充到全量数据
-
修改方式：
-
在network_conf.py 第151行修改,如下如所示，将input=fc1 修改为input=fc3
-
在cluster_train.sh 里第35行和第47行将batch_size=1000 修改为batch_size=64
-
在cluster_train.sh 里将连个pserver和两个trainer的train_data_path地址修改为raw_data的地址，如下图所示，注意：一共需要修改四个地址
-
-
运行方式：
- 修改完以上两个文件后，执行：sh cluster_train.sh
-
输出日志：
- pserver：pserver0.log、pserver1.log 参数服务器的输出日志
- trainer：trainer0.log、trainer1.log 每个trainer的输出日志 可以通过 tail -f trainer0.log -n 999 查看输出结果
-
实验效果
- 训练时间：3150s（一轮迭代）
- auc：0.81093872
优化实验对比结果
- 表格1:对mini_demo(1%全量数据)做训练，采取不同的优化方式，得到最后的优化方案的实验结果
| 评估 | batch_size | batch_1000 | batch_1000 | batch_64 | batch_64 |
|---|---|---|---|---|---|
| 优化方式 | 评估 | 一层网络 | 三层网络 | 一层网络 | 三层网络 |
| mini_demo | time | 33s | 35s | 97s | 103s |
| auc | 0.50234167 | 0.54893279 | 0.721332392 | 0.74322927 |
- 表格2: 增加数据集对模型精度的提升
| batch_size | time | auc | |
|---|---|---|---|
| demo | 64 | 1133s | 0.73777626 |
| 全量 | 64 | 3150s | 0.81093872 |
优化方案总结
由以上两个表格可知：
- batch 大小的改变：在数据集和其他参数不变的情况下，batch_size由1000变为64.可以提升20%的模型精度
- 网络结构的改变：在数据集和batch_size等参数不变的情况，由一层网络变为三层网络结构，大约可提升2～4%的模型精度
- 数据集的改变：由demo数据（10%全量数据）扩充到全量数据，采用同样的batch_size，同样的迭代次数和其他超参数，大约可提升7%的精度
