Linux ip forward和网卡forward

问题现象

k8s集群外节点192.168.0.112创建路由，可以访问到k8s集群内节点pod ip。

ip route add 10.16.0.0/16 via 192.168.0.105 dev ens33

目的网段是容器网段，下一跳是k8s节点ip 192.168.0.105，相当于flannel hostgw模式。

10.16.0.17是coredns pod ip，容器网络走flannel overlay。

问题分析

192.168.0.112访问10.16.0.17路径
192.168.0.112 ens33->
192.168.0.105 ens33-> 
iptables PREROUTING->路由判断->iptables FORWARD->iptables POSTROUTING->
容器网关cni0 10.16.0.1->容器网卡->容器网关cni0 10.16.0.1->
iptables PREROUTING->路由判断->iptables FORWARD->iptables POSTROUTING->
192.168.0.105 ens33->
192.168.0.112 ens33

解决问题

k8s节点192.168.0.105
关闭ip_forward，可以解决问题，但是会影响别的流量转发，例如k8s nodeport，不采用。

echo 0 > /proc/sys/net/ipv4/ip_forward

关闭网卡forward，可以解决问题，ens33上目的IP必须是本网卡IP，否则drop，采用。

echo 0 > /proc/sys/net/ipv4/conf/ens33/forwarding