摘要: 地址:https://github.com/pingcap/docs-cn/blob/master/op-guide/configuration.md#tidb TiDB --store 用来指定 TiDB 底层使用的存储引擎 默认: "goleveldb" 你可以选择 "memory", "gol 阅读全文
posted @ 2017-07-29 22:26 莫为 阅读(1441) 评论(0) 推荐(0) 编辑
摘要: 1.什么是微服务架构? 微服务是指开发一个单个 小型的但有业务功能的服务,每个服务都有自己的处理和轻量通讯机制,可以部署在单个或多个服务器上。 微服务也指一种种松耦合的、有一定的有界上下文的面向服务架构。也就是说,如果每个服务都要同时修改,那么它们就不是微服务,因为它们紧耦合在一起;如果你需要掌握一 阅读全文
posted @ 2017-07-06 17:43 莫为 阅读(575) 评论(0) 推荐(0) 编辑
摘要: 转自 http://blog.jobbole.com/96948/ 在2014年,Sam Newman,Martin Fowler在ThoughtWorks的一位同事,出版了一本新书《Building Microservices》。该书描述了如何按照Microservice架构模式设计及搭建一个具有 阅读全文
posted @ 2017-07-06 14:41 莫为 阅读(8772) 评论(0) 推荐(0) 编辑
摘要: 在工作中经常需要停止JAVA进程,停止时间也比较长,那么有时候因为一些情况,需要把 linux 下JAVA所有进程 kill 掉,又不能用killall 直接杀掉某一进程名称包含的所有运行中进程(我们可能只需要杀掉其中的某一类或运行指定参数命令的进程),这个时候我们需要运用ps, grep, cut 阅读全文
posted @ 2017-06-12 10:28 莫为 阅读(479) 评论(0) 推荐(0) 编辑
摘要: 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源 阅读全文
posted @ 2017-05-27 17:03 莫为 阅读(192) 评论(0) 推荐(0) 编辑
摘要: spark-streaming读hdfs,统计文件中单词数量,并写入mysql 阅读全文
posted @ 2017-05-19 09:56 莫为 阅读(1630) 评论(0) 推荐(0) 编辑
摘要: yarn logs -applicationId application_xxxx_xxx 可选(">exception") 阅读全文
posted @ 2017-05-18 15:12 莫为 阅读(551) 评论(0) 推荐(0) 编辑
摘要: 对API的解释: 对API的解释: 1.1 transform l map(func):对调用map的RDD数据集中的每个element都使用func,然后返回一个新的RDD,这个返回的数据集是分布式的数据集 l filter(func) : 对调用filter的RDD数据集中的每个元素都使用fun 阅读全文
posted @ 2017-05-09 11:01 莫为 阅读(2740) 评论(0) 推荐(0) 编辑
摘要: 1、从hbase中取数据,再把计算结果插入hbase中 2、从hdfs中取数据,把计算的结果插入到hdfs中 阅读全文
posted @ 2017-04-28 16:26 莫为 阅读(2913) 评论(0) 推荐(0) 编辑
摘要: 命令 #sync #echo 3 > /proc/sys/vm/drop_caches 查看内存情况: # more /proc/meminfo Kernels 2.6.16 and newer provide a mechanism to have the kernel drop the page 阅读全文
posted @ 2017-04-28 14:59 莫为 阅读(1329) 评论(0) 推荐(0) 编辑