摘要：
恶意用户可能会发送伪造的信息，骗取交换机或主机将不可靠的机器作为网关。攻击者的目标是成为中间人，让无判断的用户将其作为路由器，向其发送分组，这样攻击者可以在将发送给他的分组正常转发前，收集其中的信息。 1）DHCP探测 假定攻击者在客户PC所在的子网的一台机器上运行伪造的DHCP服务器。当客户广播其 阅读全文
摘要：
先上Demo 返回查询结果正确 现象 修改查询的SQL，返回的数据量不对。 原因 在触发Action的时候，Task在每个分区上的业务逻辑是相同的（id >= ? and id < ?"），只是读取的数据和处理的数据不一样。RDD根据数据量和分区数据，均匀地分配每个分区Task读取数据的范围。 分区 阅读全文
摘要：
考察spark自定义排序 方式一：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成自定义类类型的RDD，使用本身排序即可。 方式2：自定义一个类继承Ordered和序列化，Driver端将数据变成RDD，整理数据转成元组类型的RDD，使用就自定义类做排序规则。 方 阅读全文
摘要：
主要考察的是广播变量的使用： 1、将要广播的数据 IP 规则数据存放在HDFS上，（广播出去的内容一旦广播出去产就不能改变了，如果需要实时改变的规则，可以将规则放到Redis中） 2、在Spark中转成RDD，然后收集到Driver端， 3、把 IP 规则数据广播到Executor中。Driver端 阅读全文