随笔分类 -  数据分析平台

摘要:用Grafana可以很容易地创建Dashboard,并且后期修改和更新很方便,由于它的易用性和灵活性很适合用来做系统和生产的监控。但是Grafana的UI设计似乎对普通用户不是很友好,如果让用户直接登录Grafana去搜索浏览Dashboad不是很合适。由此自然就产生了把Grafana嵌入第三方系统 阅读全文
posted @ 2023-09-18 10:27 keitsi 阅读(4369) 评论(3) 推荐(2) 编辑
摘要:Elasticsearch集群状态莫名其妙变成红色,红色意味着有可能存在主分片未分配。本随笔记录了问题的排查和简单地恢复集群。 查看分配状态 从分配详情可以看出的确是有3个分片没能自动分配,其中包括6号分片的主分片,因为主分片未分配意味着数据不完整,所以集群的状态是红色。 获取分片分配解释 执行命令 阅读全文
posted @ 2020-09-24 20:33 keitsi 阅读(1345) 评论(0) 推荐(0) 编辑
摘要:根据网上的教程,当完成了Elasticsearch 7.x安装后,会要求你用Docker命令登陆到master节点的容器执行以下命令来设置默认账户的密码。 bin/elasticsearch-setup-passwords interactive 以我的试验会得到以下报错,大致意思是抱怨连接不上这个 阅读全文
posted @ 2020-02-11 08:53 keitsi 阅读(4022) 评论(1) 推荐(0) 编辑
摘要:如果你在使用Kafka来分发消息,在数据处理的过程中可能会出现处理程序出异常或者是其它的错误,会造成数据丢失或不一致。这个时候你也许会想要通过kafka把数据从新处理一遍,我们知道kafka默认会在磁盘上保存到7天的数据,你只需要把kafka的某个topic的consumer的offset设置为某个 阅读全文
posted @ 2016-07-19 17:16 keitsi 阅读(26107) 评论(2) 推荐(0) 编辑
摘要:在使用cloudera manager安装CDH过程中,发现安装进程卡在给某个slave机分配parcel上。 查agent的log发现如下错: 该错误报警说“处理心跳响应失败”,看到报警信息首先想到的是难道是网络问题? 于是检查机器之间的网络连接,并没有发现问题。 那会不会是防火墙的问题呢? 于是 阅读全文
posted @ 2016-07-11 15:55 keitsi 阅读(3858) 评论(1) 推荐(0) 编辑
摘要:因为项目开发需要要在本地组建一个Hadoop/Spark集群,除了Hadoop/Spark还要同时安装多个相关的组件,如果一个个组件安装配置,对于一个由多台服务器组成的集群来说,工作量是巨大的。 所以需要借助Cloudera来安装,因为它本身集成了丰富的数据分析处理相关的组件和管理工具,而且还能帮助 阅读全文
posted @ 2016-07-10 00:51 keitsi 阅读(6604) 评论(2) 推荐(1) 编辑
摘要:如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况: 要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与当前topic相关的路径一并删除。 相关组件的版本 zookeeper: 3.4.6 kafka: 0.9. 阅读全文
posted @ 2016-06-13 15:07 keitsi 阅读(9780) 评论(0) 推荐(1) 编辑
摘要:Checkpointing 一个流应用程序必须全天候运行,所有必须能够解决应用程序逻辑无关的故障(如系统错误,JVM崩溃等)。为了使这成为可能,Spark Streaming需要checkpoint足够的信息到容错存储系统中, 以使系统从故障中恢复。 Metadata checkpointing:保 阅读全文
posted @ 2016-06-01 11:12 keitsi 阅读(1098) 评论(0) 推荐(0) 编辑
摘要:Cloudera及相关的组件版本 Cloudera: 5.7.0 Hbase: 1.20 Hadoop: 2.6.0 ZooKeeper: 3.4.5 就算是引用了相应的组件依赖,依然是报一样的错误! 错误字符串 解决方案 在网上查到的错误原因是Cloudera版本的Hbase版本和官方的Hbase 阅读全文
posted @ 2016-05-21 15:44 keitsi 阅读(6343) 评论(0) 推荐(0) 编辑
摘要:前言 因为项目需要要为客户程序提供C#.Net的HBase访问接口,而HBase并没有提供原生的.Net客户端接口,可以通过启动HBase的Thrift服务来提供多语言支持。 Thrift介绍 环境 把环境贴出来是因为不同版本的组件之间可能会存在兼容性的问题 Thrift安装:传送门 HBase: 阅读全文
posted @ 2016-04-08 16:26 keitsi 阅读(1535) 评论(0) 推荐(0) 编辑
摘要:前言 为了能给.NET的程序提供HBase访问接口需要在Hadoop/Spark集群上安装Thrift Thrift介绍 Thrift是一个软件框架,用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎,以构建在 C++, Java, Python, PHP, Ruby, E 阅读全文
posted @ 2016-04-08 15:05 keitsi 阅读(3557) 评论(0) 推荐(0) 编辑
摘要:HBase Error: connection object not serializable 想在spark driver程序中连接HBase数据库,并将数据插入到HBase,但是在spark集群提交运行过程中遇到错误:connection object not serializable 详细的错 阅读全文
posted @ 2016-04-05 17:56 keitsi 阅读(1633) 评论(0) 推荐(0) 编辑
摘要:HBase shell 常用指令 连接HBase 打开帮助 创建表 hbase(main):003:0> create 'test', 'cf'0 row(s) in 2.6280 seconds => Hbase::Table - test 成功在HBase数据库上创建一个名为test的表,表中包 阅读全文
posted @ 2016-04-05 16:07 keitsi 阅读(427) 评论(0) 推荐(0) 编辑
摘要:JFreeChart介绍 JFreeChart是JAVA平台上的一个开放的图表绘制类库。它完全使用JAVA语言编写,是为applications, applets, servlets 以及JSP等使用所设计。JFreeChart可生成饼图(pie charts)、柱状图(bar charts)、散点 阅读全文
posted @ 2015-11-23 14:22 keitsi 阅读(2145) 评论(0) 推荐(0) 编辑
摘要:为什么要使用Maven摘自百度百科的介绍Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建,报告和文档的软件项目管理工具。Maven 除了以程序构建能力为特色之外,还提供高级项目管理工具。由于 Maven 的缺省构建规则有较高的可重用性,所以常常用两三行 Maven 构建... 阅读全文
posted @ 2015-11-22 23:35 keitsi 阅读(1365) 评论(0) 推荐(0) 编辑
摘要:JDK安装JDK安装包下载到Oracle官网下载JDK.传送门下载之前要记得勾选上同意协议然后选择相应的版本(Windows/Linux, 32/64)JDK安装及验证按提示完成安装,安装完成后打开CMD输入命令 java -version 测试是否已正确安装JDKScala IDE for Ecl... 阅读全文
posted @ 2015-11-22 15:48 keitsi 阅读(642) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示