摘要:
底层hive会先进行类型转换,至于转成string,还是int 得看hive的版本,再求hash值。但如果string类型数据过大,超过范围的数据在转换为bigint时,都会变成相同的结果,然后对这些数据求hash,得出的结果就会一样,这样数据会被分配到同一个分区处理,容易产生数据倾斜。 解决办法: 阅读全文
摘要:
在实际应用中,如果需要把磁盘中的某个文件内容发送到远程服务器上,那么他必须经过几个拷贝过程(1)从磁盘中去读取目标文件的内容拷贝到内核缓冲区中(2)把内核缓冲区的数据拷贝到用户空间的缓冲区中(3)在应用程序中调用write()方法把用户空间缓冲区的数据拷贝到内核空间的socket Buffer中(4 阅读全文