摘要：
计划最近好好按步骤按阶段系统性的学习下机器学习和深度学习，希望能坚持下去。 2019 01 05 "基于TensorFlow的深度学习系列教程 2——常量Constant" 2019 01 03 "深度学习Tensorflow生产环境部署（下·模型部署篇）" 2019 01 03 "深度学习Tens 阅读全文
摘要：
公司平时使用的CDH版本的hadoop生态，spark任务是基于yarn来管理的，而不是基于原生的spark master slave集群管理。 因此任务的大致启动模式是： 如果是Cluster模式： 1. A节点启动Spark submit，这个程序即为client，client连接Resourc 阅读全文
摘要：
今天新开发的Structured streaming部署到集群时，总是报这个错： 百度了一下说是版本不一致导致的。于是重新检查各个jar包，发现spark sql kafka的版本是2.2，而spark的版本是2.3，修改spark sql kafka的版本后，顺利执行。 阅读全文
摘要：
Spring Boot内置了tomcat容器，直接运行Application就可以启动web服务器。 在tomcat中提供了三种方式：BIO、NIO、APR。 BIO tomcat7以下的版本都是BIO，就是一个请求是一个独立的线程。不能适用高并发的场景。 NIO 在8以上的版本，默认都是NIO A 阅读全文
摘要：
Structured Streaming最主要的生产环境应用场景就是配合kafka做实时处理，不过在Strucured Streaming中kafka的版本要求相对搞一些，只支持0.10及以上的版本。就在前一个月，我们才从0.9升级到0.10，终于可以尝试structured streaming的很 阅读全文
摘要：
上篇了解了一些基本的Structured Streaming的概念，知道了Structured Streaming其实是一个无下界的无限递增的DataFrame。基于这个DataFrame，我们可以做一些基本的select、map、filter操作，也可以做一些复杂的join和统计。本篇就着重介绍下 阅读全文
摘要：
近年来，大数据的计算引擎越来越受到关注，spark作为最受欢迎的大数据计算框架，也在不断的学习和完善中。在Spark2.x中，新开放了一个基于DataFrame的无下限的流式处理组件——Structured Streaming，它也是本系列的主角，废话不多说，进入正题吧！ 简单介绍 在有过1.6的s 阅读全文
摘要：
最近几年，随着AlphaGo的崛起，深度学习开始出现在各个领域，比如无人车、图像识别、物体检测、推荐系统、语音识别、聊天问答等等。因此具备深度学习的知识并能应用实践，已经成为很多开发者包括博主本人的下一个目标了。 目前最流行的框架莫过于Tensorflow了，但是只要接触过它的人，就知道它使用起来是 阅读全文
摘要：
今天线上的hadoop集群崩溃了，现象是namenode一直在GC，长时间无法正常服务。最后运维大神各种倒腾内存，GC稳定后，服务正常。虽说全程在打酱油，但是也跟着学习不少的东西。 第一个问题：为什么会频繁GC 有过JVM经验的开发者都应该知道，GC是在内存不够时，JVM自动进行的自我救赎（删除不用 阅读全文
摘要：
朝圣一词最初的意思是教徒朝拜圣地，通常也指一个人前往自己信仰的地方。而本书——《一个人的朝圣》则从不同的角度讲述了以为老人的自我救赎之路。 故事情节 销售出身的退休老人哈罗德有一天收到一封信，是二十年未见的异性好友奎尼的信，信中很简单的说明自己患有脑癌死期将至。哈罗德一时间不知道如何回信，简单的回复 阅读全文