摘要：
PySparkSQL之PySpark解析Json集合数据 数据样本 正菜： 提交作业 数据结果 阅读全文
摘要：
记录spark使用中常见问题 SparkSQL 日期解析时用到SimpleDateFormat， SimpleDateFormat是线程不安全的。可以使用 FastDateFormat 如： 阅读全文
摘要：
1、引入依赖 注：如需手动引入jar包，hdfs的jar包 hadoop的安装目录的share下 2、window下开发的说明 建议在linux下进行hadoop应用的开发，不会存在兼容性问题。如在window上做客户端应用开发，需要设置以下环境： A、在windows的某个目录下解压一个hadoo 阅读全文
摘要：
输入输出转化工具类 读取数据，清洗输出目标数据 阅读全文
摘要：
数据库操作工具类 数据操作类：优化点（使用批量插入数据库，提交使用batch操作） 业务实现类 阅读全文
摘要：
在SparkSQL中获取Row的值，而且Row的字段允许null时，在取值的时候取到null赋值给新的变量名会报NullPointerException错误， 可以先用row.isNullAt(index)去判断该字段的值是否为空 首先上错误 修改为先初始化变量，判断row.isNullAt(6) 阅读全文
摘要：
格式化分数，按照指定小数位四舍五入工具类 阅读全文
摘要：
SCD缓慢变化维，比如一个用户维表，用户属性会变化，但是不会变化很剧烈，可能一年只会变化一两次，也不会所有用户的属性都会有变化，只有少量的数据发生变化，所以叫缓慢变化维。这种问题就是由于维度的变化所造成的。 解决方式： 是否保留历史数据 保留多久历史数据 历史状态如何与事实表关联 SCD1 保留最新 阅读全文
摘要：
恶意用户可能会发送伪造的信息，骗取交换机或主机将不可靠的机器作为网关。攻击者的目标是成为中间人，让无判断的用户将其作为路由器，向其发送分组，这样攻击者可以在将发送给他的分组正常转发前，收集其中的信息。 1）DHCP探测 假定攻击者在客户PC所在的子网的一台机器上运行伪造的DHCP服务器。当客户广播其 阅读全文
摘要：
先上Demo 返回查询结果正确 现象 修改查询的SQL，返回的数据量不对。 原因 在触发Action的时候，Task在每个分区上的业务逻辑是相同的（id >= ? and id < ?"），只是读取的数据和处理的数据不一样。RDD根据数据量和分区数据，均匀地分配每个分区Task读取数据的范围。 分区 阅读全文