本文是对论文的解读与思考
论文： Towards End-to-End Lane Detection: an Instance Segmentation Approach
introduction
该论文提出了一种 端到端 的 实例分割方法，用于车道线检测；
论文包含 LaneNet + H-Net 两个模型网络，其中 LaneNet 是一种将 语义分割 和 像素矢量化 结合起来的多任务模型，语义分割用来分割车道线与背景，像素矢量化 用于把属于同一条车道线的像素 聚类 在一起，
H-Net 是个小网络，用于预测 转换矩阵 H，使用 H 对同一条车道线的所有像素点进行重新建模(论文中是使用 y 预测 x)
LaneNet
之前提到大部分 图像分割 的网络都包含 encode 和 decode 两部分，LaneNet 也不例外，不同的是 LaneNet 包含了两个分支，如下图
下面的分支 Segmentation branch 是常规的 语义分割，用于 分割 车道线 和 背景，实现的是 二分类；
上面的分支 Embedding branch 用于 像素的矢量化，把每个 像素 用一个高维向量表示(类似于 word embedding)，使得 像素 可以通过 聚类 把 不同车道线分开；
后面那个 X 不必在意，只是结合的意思；
网络结构
LaneNet 是 基于 ENet 的 Encode-Decode 网络结构，ENet 网络如下图
如图所示，ENet 由 5 个 stage 组成， stage 1 2 3 属于 Encode，stage 4 5 属于 Decode；
LaneNet 中 语义分割 和 Embedding 两个任务共用 stage 1 2，将 stage 3 和 后面 的 Decode 部分作为各自分支结构；
语义分割 的 输出为 W*H*2，[2 分类]，Embedding 的输出为 W*H*Dim，Dim 为自定义的向量长度；
论文中两个分支 权重相同；
Segmentation
语义分割目的是区分 车道线和背景，其中作者主要考虑两点：
1. 在构建 label 时，为了处理遮挡问题，论文对 被车辆遮挡的车道线和虚线进行了还原；
2. 由于 类别 不均衡，作者进行了加权
Pclass 为 每个类别 出现的概率， C 为 常数，是个超参数，（ENet论文中是1.02，使得权重的取值区间为[1,50]）
个人理解：首先，由于 类别分布可能会相差很大， 取 log 缩放了这个差距，加个 常数 C 防止 log 取 负数，然后再取 倒 是把出现多的权重变小，出现少的权重变大；
Embedding
像素 Embedding 是对 像素进行 矢量化，用于区分 每个像素 属于哪条车道线；
它的思想如下：类似于聚类，同一条车道线(根据 label 可知) 的像素要靠近 矢量化 的中心，不同车道线的像素的 矢量化 中心要远离，即 类内距离尽可能小，类间距离尽可能大；
它的 loss 设计很巧妙，分为两部分
C 代表 车道线的条数，由 label 可知；
Nc 代表 每条车道线的 像素点；
μc 代表每条车道线的像素矢量 均值，注意是 预测值的 mean，即 网络输出 预测矢量 后，再计算均值，然后 计算 loss；
δv 代表 像素 离 μc 的距离，大于 该距离时，要进行 pull，即 拉近到 聚类中心；
// 试想一下普通的距离方法，每个样本分布在其聚类中心周围，并不是 和 聚类中心 重合，
μca μcb 代表 不同车道线的 像素矢量 均值，也是 预测值的 mean；
δd 代表不同车道线 聚类中心 间 的距离，小于该距离时，要进行 push，使得 聚类中心远离；
||x|| 代表 L2 范数；
[x]+ 代表 max(0, x)；
聚类
聚类只 发生在 预测部分；
即 模型完成 分割 和 矢量化 后，对矢量 进行 聚类，区分不同车道线；
为了 方便 聚类，在 Embedding 时 设定 δd > 6*δv；
聚类 方法使用的是 mean shift，不再赘述；
H-Net
LaneNet 的输出是 每条车道线的像素集合，我们还需要把 这些 像素 拟合成一条车道线；
传统做法是将 图片 投影到 鸟瞰图 中，然后用 二阶或者三阶 多项式进行拟合，这种方案 转换矩阵 H 只算一次，但不同地形如 丘陵、山地 的转换是略有不同的；
为了解决这个问题，论文训练了一个 预测 转换矩阵 H 的 神经网络，输入是一张图片，输出是 转换矩阵 H；
H 长这样
通过置 0 对转换矩阵进行约束，即水平线在转换下保持水平，即 坐标 y 的变换不受 x 的影响；
y' = dy + e，与 x 无关；
网络结构
上述转换矩阵只有 6 个参数，故 H-Net 模型的输出是一个 6 维向量，网络包含 6 个卷积层和 1 一个 全连接；
loss function
懒得写了，是个图片
思路如下： H-Net 输出 H 后，与 真实像素 相乘 做转换，得到一堆转换后的点，然后用 最小二乘法 得到 拟合系数 w，注意 至此 H w 都是瞎猜的，是预测的，
然后我们在 y’ 处 计算对应的 x’，也是瞎猜哦 ，最后用 H-1 把 x’ 还原回去，得到 x*，至此都是瞎猜，然后求 误差；
具体可以看 参考资料 3
我这里有个疑问：用 x’ y' 算出了 w，然后 做 wy' 竟然和 x' 完全不一样，有些费解，纠结啊
curve fitting
曲线拟合只发生在 预测 部分；
思考
laneNet 为什么没有 类似于 skip connection 的操作？
我的理解是 识别车道线的任务 太过简单了
参考资料：
https://www.jianshu.com/p/c6d38d648509
https://www.cnblogs.com/xuanyuyt/p/11523192.html
https://github.com/stesha2016/lanenet-enet-hnet 代码
