啊啊啊啊鹏 - 博客园

2019年11月22日

摘要：阅读全文

posted @ 2019-11-22 20:03 啊啊啊啊鹏阅读(823) 评论(0) 推荐(0) 编辑

摘要： TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的；并且SEQUENCEFILE是存储为二进制文件 ORC和PARQUET是基于列式存储的。 ORC是列式存储，RC是行式存储目录概述 hive文件存储格式包括以下几类一、TEXTFILE 二、SEQUENCEFILE 三、RC 阅读全文

posted @ 2019-11-22 17:35 啊啊啊啊鹏阅读(5748) 评论(1) 推荐(0) 编辑

关于Hadoop读文件的并行度

摘要：等于切片个数，默认128M一片，无限制，一片一个map() 阅读全文

posted @ 2019-11-22 09:32 啊啊啊啊鹏阅读(303) 评论(0) 推荐(0) 编辑

hadoop公平调度器与容量调度器区别

摘要：公平调度器：多队列，同一时间队列中多任务按照缺额执行，队列并行度大于队列个数容量调度器：多队列，同一时间队列中只有一个任务执行，队列中按照先进先出分配任务，队列并行度等于队列个数。 Hadoop2.7.2默认容量调度器阅读全文

posted @ 2019-11-22 09:31 啊啊啊啊鹏阅读(1764) 评论(0) 推荐(0) 编辑

2019年11月21日

关于内存泄露与OOM的关系

摘要：内存泄漏达到一定程度会引发OOM。内存泄漏是指编写的代码中含有bug，不是指会引发程序执行结果错误那种，而是不可达的对象停留在堆中，即代码中含有对象的强引用没有没释放掉，导致该无用的对象无法被垃圾收集器收集。假设内存足够大，而内存泄漏的情况并不严重，只要还有足够的空间分配给新的对象，那样即使内存阅读全文

posted @ 2019-11-21 21:06 啊啊啊啊鹏阅读(1504) 评论(0) 推荐(0) 编辑

关于druid连接池与c3p0连接池区别

摘要： c3p0连接池：开源 druid连接池：性能好，对MySQL做了优化，阿里出品，淘宝和支付宝专用数据库连接池，但它不仅仅是一个数据库连接池，它还包含一个ProxyDriver，一系列内置的JDBC组件库，一个SQL Parser。支持所有JDBC兼容的数据库，包括Oracle、MySql、Derby 阅读全文

posted @ 2019-11-21 21:00 啊啊啊啊鹏阅读(2098) 评论(0) 推荐(0) 编辑

sc.textfile 读hdfs130M文件为什么是2个分区的问题？

摘要：一个application有多个job（一个行动算子触发一个job）；每个job在发生shuffle（比如：reduceByKey）时，就会被拆成一个stage；每个stage被拆为多个task，task被分配到executor上执行，一个task会有一个线程去执行，一个task处理一小片数据。 r 阅读全文

posted @ 2019-11-21 20:40 啊啊啊啊鹏阅读(407) 评论(0) 推荐(0) 编辑

关于phoenix多读少写与多写少读的二级索引问题与spark累加器只写、广播变量只读区分

摘要： phoenix二级索引分两种： 1、全局索引：全局索引知道所有的位置，索引查快，但是并不是和所有数据在一块所以写的话需要网络传输。所以适合多读少写。 2、本地索引：与数据在同一个region中，写快因为在本地不需要网络传输。但是知道的少所以适合多写少读。阅读全文

posted @ 2019-11-21 19:45 啊啊啊啊鹏阅读(188) 评论(0) 推荐(0) 编辑

RDD累加器与广播变量？

该文被密码保护。阅读全文

posted @ 2019-11-21 19:28 啊啊啊啊鹏阅读(1) 评论(0) 推荐(0) 编辑

设置spark读取速率：每秒处理1000条数据

该文被密码保护。阅读全文

posted @ 2019-11-21 11:28 啊啊啊啊鹏阅读(0) 评论(0) 推荐(0) 编辑

数据指南

公告