06 2018 档案
摘要：
阅读全文
摘要：最近测试环境基于shc[https://github.com/hortonworks spark/shc]的hbase connector总是异常连接不到zookeeper，看下报错日志： 可以观察到hbase connector莫名其妙连接的是localhost:2181，检查所有的配置文件都没有
阅读全文
摘要：git移除已经追踪的文件 有时候新增一个文件，会自动追加到git的版本控制当中，但是又不想提交到仓库。可以按照下面的步骤： 查看管理状态: 其中data.tg就是我不想提交的文件，但是现在已经进入到版本控制当中了。 那么可以通过rm删除当前的控制状态： 再次查看就发现已经到了未加入版本控制状态列表里
阅读全文
摘要：计划最近好好按步骤按阶段系统性的学习下机器学习和深度学习，希望能坚持下去。 2019 01 05 "基于TensorFlow的深度学习系列教程 2——常量Constant" 2019 01 03 "深度学习Tensorflow生产环境部署（下·模型部署篇）" 2019 01 03 "深度学习Tens
阅读全文
摘要：公司平时使用的CDH版本的hadoop生态，spark任务是基于yarn来管理的，而不是基于原生的spark master slave集群管理。 因此任务的大致启动模式是： 如果是Cluster模式： 1. A节点启动Spark submit，这个程序即为client，client连接Resourc
阅读全文
摘要：今天新开发的Structured streaming部署到集群时，总是报这个错： 百度了一下说是版本不一致导致的。于是重新检查各个jar包，发现spark sql kafka的版本是2.2，而spark的版本是2.3，修改spark sql kafka的版本后，顺利执行。
阅读全文
摘要：Spring Boot内置了tomcat容器，直接运行Application就可以启动web服务器。 在tomcat中提供了三种方式：BIO、NIO、APR。 BIO tomcat7以下的版本都是BIO，就是一个请求是一个独立的线程。不能适用高并发的场景。 NIO 在8以上的版本，默认都是NIO A
阅读全文
摘要：Structured Streaming最主要的生产环境应用场景就是配合kafka做实时处理，不过在Strucured Streaming中kafka的版本要求相对搞一些，只支持0.10及以上的版本。就在前一个月，我们才从0.9升级到0.10，终于可以尝试structured streaming的很
阅读全文
摘要：上篇了解了一些基本的Structured Streaming的概念，知道了Structured Streaming其实是一个无下界的无限递增的DataFrame。基于这个DataFrame，我们可以做一些基本的select、map、filter操作，也可以做一些复杂的join和统计。本篇就着重介绍下
阅读全文
摘要：近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——Structured Streaming，它也是本系列的主角，废话不多说，进入正题吧！ 简单介绍 在有过1.6的s
阅读全文
