会飞的猪仔

摘要： /** * Return a new DStream by applying 'join' between RDDs of `this` DStream and `other` DStream. * The supplied org.apache.spark.Partitioner is used 阅读全文

摘要： /** * Return a new DStream in which each RDD is generated by applying a function * on each RDD of 'this' DStream. 在调用的stream的RDD中应用传入的函数，返回一个新的DStream 阅读全文

摘要： spark streaming可以从任何数据源来接收数据，哪怕是除了它内置支持的数据源以外的其他数据源（比如flume、kafka、socket等）。如果我们想要从spark streaming没有内置支持的数据源中接收实时数据，那么我们需要自己实现一个receiver。实现一个自定义的receiv 阅读全文

摘要： Spark Streaming是个准实时、微批量的流式处理架构，数据是向水流一样一直不断流过来，那么我们该怎么配置数据的接收速率？ Spark1.5以前的版本，用户若需要限制Receiver的数据接收速率，可以通过设置静态配置参数“spark.streaming.receiver.maxRate”的 阅读全文

摘要： DataFrame、DataSet 和 Spark SQL 的实际执行流程都是相同的： 1.进行 DataFrame/Dataset/SQL 编程；2.如果是有效的代码，即代码没有编译错误，Spark 会将其转换为一个逻辑计划；3.Spark 将此逻辑计划转换为物理计划，同时进行代码优化；4.Spa 阅读全文

摘要： Spark Streaming用于流式数据处理（准实时，微批次），Spark Streaming支持的数据源很多，例如：kafka、Flume、简单的TCP套接字等，数据输入后可以用Spark的高度抽象原语，如：map、join、reduce、window等进行运算，而结果也可以保存在很多地方，如： 阅读全文

摘要： hive报FAILED: ParseException line 1:65 cannot recognize input near 'row' 'formatted' 'delimited' in table row format specification 错误语句： insert overwri 阅读全文

摘要： hive向表中插入数据时报错： FAILED: ParseException line 1:17 cannot recognize input near 'student2' 'select' 'id' in destination specification 错误： insert overwrit 阅读全文

摘要： 对HDFS结合Zookeeper进行HA配置后无法实现自动切换，将active的namenode杀掉namenode进程后，standby的namenode并未自动切换为active，经查询，应将hdfs-site.xml中dfs.ha.fencing.methods一项配置为shell(/bin/ 阅读全文

摘要： Vue 初始化获取数据应该放到 Created 还是 Mounted 中？以下片段摘自官方文档created：在实例创建完成后被立即同步调用。在这一步中，实例已完成对选项的处理，意味着以下内容已被配置完毕：数据侦听、计算属性、方法、事件/侦听器的回调函数。然而，挂载阶段还没开始，且 $el prop 阅读全文