06 2018 档案
摘要：Hadoop Yarn的资源隔离是指为运行着不同任务的“Container”提供可独立使用的计算资源，以避免它们之间相互干扰。目前支持两种类型的资源隔离：CPU和内存，对于这两种类型的资源，Yarn使用了不同的资...
阅读全文
摘要：Swagger使用1. Swagger UI按以下步骤配置，项目启动后访问：http://localhost:8080/swagger-ui.html1.1 添加依赖 io.springfo...
阅读全文
摘要：1、GraphX介绍1.1 GraphX应用背景Spark GraphX是一个分布式图处理框架，它是基于Spark平台提供对图计算和图挖掘简洁易用的而丰富的接口，极大的方便了对分布式图处理的需求。众所周知·，社交...
阅读全文
摘要：Bit-map空间压缩和快速排序去重1. Bit-map的基本思想 32位机器上，对于一个整型数，比如int a=1 在内存中占32bit位，这是为了方便计算机的运算。但是对于某些应用场景而言，这属于一种巨大的...
阅读全文
摘要：在介绍完Spark GraphX的属性图模型、简单的属性展示操作后，本章节介绍更多有关Spark GraphX的常用图操作。在GraphX中，核心操作都是被优化过的，组合核心操作的定义在GraphOps中。由于S...
阅读全文
摘要：TinkerPop’s Hadoop-Gremlin JanusGraph with TinkerPop’s Hadoop-Gremlin利用Hadoop-Gremlin批量导入json数据到JanusGraph...
阅读全文
摘要：Gremlin简介Gremlin是Apache TinkerPop 框架下的图遍历语言。Gremlin是一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询...
阅读全文
摘要：SpringData入门以及为什么学习SpringData写在最前：学习一项新的技术，一个新的框架，总是要基于某个问题去学习，而不能是为了学框架而学框架，这样不仅学习过程痛苦，学习成效也不高。俗话说，熟能生巧，大...
阅读全文
摘要：我们在编写Spring Boot应用中经常会遇到这样的场景，比如：我需要定时地发送一些短信、邮件之类的操作，也可能会定时地检查和监控一些标志、参数等。创建定时任务在Spring Boot中编写定时任务是非常简单的...
阅读全文
摘要：注：本文参考自http://www.jianshu.com/p/0465a2b837d2 swagger用于定义API文档。好处：前后端分离开发API文档非常明确测试的时候不需要再使用URL输入浏览器的方式来访问...
阅读全文
摘要：在spring-boot中使用以前总是看各种博客来配置，这次也不例外。百度了千篇一律却又各有细微的差别，甚至时间上、版本上各有不同。最终还是去看官方文档，终于发现了官方的sample。针对于各种option的操作...
阅读全文
摘要：java 依赖包冲突问题描述程序中同时使用了hadoop工具包与ElasticSearch工具导致jar包。程序报错：java.lang.NoSuchMethodError: com.google.common....
阅读全文
摘要：如果你的代码不需要模块化，那么你不需要 webpack；如果你的代码需要模块化，那么你可能需要 webpack；如果你的代码里，JavaScript、图片、CSS、JSON 等等千奇百怪的文件都要模块化，那么你一...
阅读全文
摘要：Spark Streaming编程指南OverviewSpark Streaming属于Spark的核心api，它支持高吞吐量、支持容错的实时流数据处理。它可以接受来自Kafka, Flume, Twitter,...
阅读全文
摘要：Spring Boot程序默认从application.properties或者application.yaml读取配置，如何将配置信息外置，方便配置呢？查询官网，可以得到下面的几种方案:通过命令行指定Sprin...
阅读全文
