摘要: 在spark中最重要的东西有一个超级重要的组件是:dag的调度器。上面的sql经过翻译之后,就变成了一个dag图,然后这个dag的调度器就开始对这个dag图中所代表的操作去做执行了。 图计算是计算机领域中非常重要的一种计算模型了。 计算机中基础的数据结构课中,有图计算相关的内容,有向无环图的最短路径 阅读全文
posted @ 2024-03-10 20:29 honpey 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 内核samples/bpf代码中tracex1_kernel中把bpr_probe_read中的第二个参数变成*2,相当于恶意读取字段数值,编译没有错误,但是在load bpf的时候verfify checker会有大量的错误 /* non-portable! works for the given 阅读全文
posted @ 2022-02-19 14:51 honpey 阅读(406) 评论(0) 推荐(0) 编辑
摘要: bpf程序是如何控制内存类型的访问 bpf_probe_read试着把类型转化的部分,换成一个内核不识别的函数,看下下编译和执行是否都能正确地进行~把内核中samples/bpf中的tracex1_kern.c中的skb = (struct sk_buff*) PT_REGS_PARM1(ctx); 阅读全文
posted @ 2022-02-19 14:42 honpey 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 普通的ebpf程序是比较简单的,包括当前cilium/bpf中其实都提供了比较完整的案例,对于比较复杂的程序,即比如这个trace点是放在了kprobe上面,对于这种的bpf程序的入口函数其实是变成了bt_regs,这种的话,首先你是需要去获得寄存器的信息的,第二个呢,从寄存器中找到相应的函数的信息 阅读全文
posted @ 2022-02-19 13:15 honpey 阅读(495) 评论(0) 推荐(0) 编辑
摘要: 又开始了读网络部分的代码,真是有毒; 这次是要好好看看路由部分的代码 fib_table_insert是整个增加路由的入口 执行route add -net 192.163.0.0/24 dev eth0 在这行这句话的时候,到了内核中 fib_table_insert key_node在路由中的重 阅读全文
posted @ 2021-12-26 10:15 honpey 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 很多的网络方案中都是弄了个张网卡,然后在这个网卡上等着接受数据,比如vxlan网卡,比如网桥等等 vxlan网卡上你去配置一些规则, 最重要的事情,就是配置路由规则,看下数据包导入到那张网卡中去,如果是普通的网卡的话,直接就把数据包发送出去了,如果是特殊的网卡就处理数据包染后发送出去。 阅读全文
posted @ 2021-12-04 09:27 honpey 阅读(384) 评论(0) 推荐(0) 编辑
摘要: postrouting要解决的应该是源端地址,因为出了网卡之后,就要改成网卡的地址了,否则数据包是回不来的。这个也是vxlan的适用的场景,因为vxlan网卡把数据数据发送出去以后,网卡的源地址是自己的地址,其实感觉只要vxlan的网卡地址和物理机网络完全是在一个网段就没有必要去使用postrout 阅读全文
posted @ 2021-12-03 22:07 honpey 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 先自己想想preorouting试用的场景是什么,上面一篇文章已经说过了,是说网卡放过了这个数据包,然后是需要iptables对这个数据包做一个整改,这里的适用场景肯定是改目的地址啊,因为改了目的地址之后,机器上配置了forwarding是个1,这个时候linux的路由策略是被触发的,这个时候会把数 阅读全文
posted @ 2021-12-03 22:03 honpey 阅读(68) 评论(0) 推荐(0) 编辑
摘要: xu虚拟网络中最重要的是还是网卡, 理解虚拟网络最重要的还是网卡; 理解虚拟网络最重要的还是网卡; 理解网卡的行为,一个数据包到了网卡之后要做什么,到了网卡之后,网卡就把数据包网协议栈上去送了,然后在协议栈网上去送的过程中如果协议栈配置的是可以转发,那么直接就路由过去了;我们之所以对网卡感觉比较乱, 阅读全文
posted @ 2021-12-03 21:48 honpey 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 看了一圈,opentsdb的设计原则就是value中存放的就是数字,所以的标注性的文字都是放在了文字里了 染后具体的数值部分,只支持float和int了,其他的都不支持。 阅读全文
posted @ 2021-11-01 17:20 honpey 阅读(121) 评论(0) 推荐(0) 编辑