摘要：
项目将近尾声，上线一切顺利，在开发过程中遇到了不少的问题，趁着空闲时间对项目中遇到的常见问题做一个总结，当作一个笔记，问题如下： 出现这种情况大多是结点断了，没有连接上。检查配置，重新启动服务即可。 2. java.lang.OutOfMemoryError: Java heap space 出现这 阅读全文
摘要：
HDFS基本命令 接触大数据挺长时间了，项目刚刚上完线，趁着空闲时间整理下大数据hadoop、Hbase等常用命令以及各自的优化方式，当做是一个学习笔记吧。 HDFS命令基本格式：Hadoop fs -cmd < args > ls 命令 hadoop fs -ls / 列出hdfs文件系统根目录下 阅读全文
摘要：
一、多线程介绍 在编程中，我们不可逃避的会遇到多线程的编程问题，因为在大多数的业务系统中需要并发处理，如果是在并发的场景中，多线程就非常重要了。另外，我们在面试的时候，面试官通常也会问到我们关于多线程的问题，如：如何创建一个线程？我们通常会这么回答，主要有两种方法，第一种：继承Thread类，重写r 阅读全文
摘要：
项目快上线了，在准生产测试，遇到了一个问题，那就是Linux硬盘资源不够用了，这个问题是当时在装系统的时候，应该装机人员的失误造成的，具体如下： 这个报错原因就是硬盘资源不够用了，使用命令：df -h，看了下系统的硬盘使用情况： 我们可以看到，挂载到root下面的硬盘大小只有10G，这远远是不够的， 阅读全文
摘要：
解决：java.io.IOException: No FileSystem for scheme: hdfs 开发项目初期，写完代码开始放到服务器上开始测试的时候，报出这样的一个错，不知道怎么处理了，尝试了重新配置HDFS的Configuration，也不行，无奈之下，只好查看源代码，分析错误是从哪 阅读全文
摘要：
项目背景 某银行的影像平台由于使用时间长，服务器等配置原因，老影像系统满足不了现在日益增长的数据量的需求，所以急需要升级改造。传统的影像平台使用的是Oracle数据库和简单的架构来存储数据（视频、图片等），所以很难满足现在的业务需求，其中最主要的就是存储下载等速度的影响，综合考虑之后，我们给出了升级 阅读全文
摘要：
项目背景： 在这次影像系统中，我们利用大数据平台做的是文件（图片、视频等）批次的增删改查，每个批次都包含多个文件，上传完成以后要添加文件索引（文件信息及批次信息），由于在Hbase存储的过程中，每个文件都对应一个文件rowKey，一个批次就会有很多个RoweKey，查询的下载的时候就必须根据每个文件 阅读全文
摘要：
项目中有一个这样的需求，上传文件的时候需要多张文件一起上传，而且每张文件都有自己的文件信息，因为文件信息需要匹配验证，在处理过程中需要传输流的时候前半段固定长度为文件信息，后半段是文件流，而且还是多张批量的情况，经过不断摸索最终想出一个方案：那就是采用合并流，示意图如下： 批次信息[256]+文件信 阅读全文
摘要：
最近项目中用到了Elasticsearch5.4（ES）是比较新的一个版本，使用的过程中出现了很多的问题，很是头疼，但是问题最终还是解决掉了。 问题一：ESClient获取慢，并且不能获取Client：failed to create a child event loop 由于业务的需要没上传一批文 阅读全文
摘要：
最近在参与一个项目需求的开发，其中涉及到了身份证号码，身份证号码作为我国公民的唯一标识，有着非同寻常的意义，由于业务的要求15位的身份证号码无法命中，所以需要补全为18位，一开始自己想着加个年份的前两位，后面再加个X不就行了嘛，后来代码写不下去了，上网查了资料，才知道自己想的是多么天真，还是比较复杂 阅读全文