2019 年 9月 15 日随笔档案 - 风清_云淡

2019年9月15日

摘要： storm新加节点，重启topology后，出现错误如果检查了CPU和内存不高后，还出现 java.lang.OutOfMemoryError: unable to create new native thread ，此时需要检查linux最大支持的线程数。 ulimit -u 查询当前整个系统已阅读全文

posted @ 2019-09-15 19:42 风清_云淡阅读(446) 评论(0) 推荐(0) 编辑

ES读写数据的工作原理

摘要： es写入数据的工作原理是什么啊？es查询数据的工作原理是什么？底层的lucence介绍一下呗？倒排索引了解吗？一、es写数据过程 1、客户端选择一个node发送请求过去，这个node就是coordinating node（协调节点） 2、coordinating node 对document进行路阅读全文

posted @ 2019-09-15 16:38 风清_云淡阅读(6191) 评论(4) 推荐(0) 编辑

Hive优化

摘要： Hive理论1、Hive是什么？一个sql解析引擎，将SQL解析成MR，Hive本质就是MR2、Hive不存数据的，数据实际存在HDFS上，元数据基本上都存在mysql上3、Hive内容是读多写少，不支持数据的改写和删除4、Hive的SQL和传统SQL区别：可扩展性：用户自定义函数 1）UDF：用阅读全文

posted @ 2019-09-15 16:37 风清_云淡阅读(311) 评论(0) 推荐(0) 编辑