2019年4月29日
hbase 性能优化 （转载）
摘要： 一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC， 阅读全文
posted @ 2019-04-29 15:44 _Meditation 阅读(398) 评论(0) 推荐(0) 编辑
hbase 问题整理
摘要： 阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可 阅读全文
posted @ 2019-04-29 15:25 _Meditation 阅读(307) 评论(0) 推荐(0) 编辑
hbase读的性能优化
摘要： 任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大 阅读全文
posted @ 2019-04-29 15:21 _Meditation 阅读(175) 评论(0) 推荐(0) 编辑
hbase参数配置和说明
摘要： 版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的 线上配置 <property> <name>hbase.tmp.dir</name 阅读全文
posted @ 2019-04-29 15:19 _Meditation 阅读(597) 评论(0) 推荐(0) 编辑
2019年4月13日
kafka 客户端 producer 配置参数
摘要： 属性描述类型默认值 bootstrap.servers 用于建立与kafka集群的连接，这个list仅仅影响用于初始化的hosts，来发现全部的servers。格式：host1:port1,host2:port2,…，数量尽量不止一个，以防其中一个down了 list acks Server完成 p 阅读全文
posted @ 2019-04-13 15:05 _Meditation 阅读(5699) 评论(0) 推荐(0) 编辑
kafka 客户端 consumer 配置参数
摘要： 1、Consumer Group 与 topic 订阅 每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Group，也就好像是这条m 阅读全文
posted @ 2019-04-13 14:58 _Meditation 阅读(4059) 评论(0) 推荐(0) 编辑
spark ML pipeline 学习
摘要： 一。pipeline 一个典型的机器学习过程从数据收集开始，要经历多个步骤，才能得到需要的输出。这非常类似于流水线式工作，即通常会包含源数据ETL（抽取、转化、加载），数据预处理，指标提取，模型训练与交叉验证，新数据预测等步骤。 在介绍工作流之前，我们先来了解几个重要概念： DataFrame：使用 阅读全文
posted @ 2019-04-13 10:38 _Meditation 阅读(263) 评论(0) 推荐(0) 编辑
spark streaming
摘要： 一。介绍 Spark Streaming最主要的抽象是DStream（Discretized Stream，离散化数据流），表示连续不断的数据流。在内部实现上，Spark Streaming的输入数据按照时间片（如1秒）分成一段一段的DStream，每一段数据转换为Spark中的RDD，并且对DSt 阅读全文
posted @ 2019-04-13 09:38 _Meditation 阅读(433) 评论(0) 推荐(0) 编辑
spark DataFrame 读写和保存数据
摘要： 一。读写Parquet(DataFrame) Spark SQL可以支持Parquet、JSON、Hive等数据源，并且可以通过JDBC连接外部数据源。前面的介绍中，我们已经涉及到了JSON、文本格式的加载，这里不再赘述。这里介绍Parquet，下一节会介绍JDBC数据库连接。 Parquet是一种 阅读全文
posted @ 2019-04-13 09:19 _Meditation 阅读(6392) 评论(0) 推荐(0) 编辑
spark DataFrame的创建几种方式和存储
摘要： 一。 从Spark2.0以上版本开始，Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载、转换、处理等功能。SparkSession实现了SQLContext及HiveContext所有功能。 SparkSess 阅读全文
posted @ 2019-04-13 09:09 _Meditation 阅读(4798) 评论(0) 推荐(0) 编辑