摘要：
遵循一定的步骤来尝试确定分区数 创建一个只有1个分区的topic，然后测试这个topic的producer吞吐量和consumer吞吐量。假设它们的值分别是Tp和Tc，单位可以是MB/s。然后假设总的目标吞吐量是Tt，那么分区数 = Tt / max(Tp, Tc)说明：Tp表示producer的吞 阅读全文
摘要：
int是32位整数;一个long是一个64位整数。使用哪一个取决于您希望使用的数字的大小。 int和long是原始类型，而Integer和Long是对象。原始类型更高效，但有时您需要使用对象;例如，Java的集合类只能与对象一起工作，所以如果需要整数列表，则必须使其成为List<Integer>（例 阅读全文
摘要：
when i run a query. Service restart. And then I see the error log. Message: 2019.05.08 22:09:40.754275 [ 1 ] {} Application: DB::Exception: Cannot loc 阅读全文
摘要：
做系统设计以及涉及数据分析的时候，会涉及到各种期间维度的统计计算。 可以按日期生成期间维度表，如下： 1.按期间生成日期表 DROP TABLE IF EXISTS `v_day`; CREATE TABLE `v_day` (`oc_date` varchar(20) DEFAULT NULL); 阅读全文
摘要：
我们在配置了虚拟机后，想要复用第一台虚拟机的各项配置，于是我们会采用克隆的方法进行，但是伴随着这个便利，出现了一个不利的问题，那就是克隆以后，虚拟机网卡的问题，如下： 克隆以后，ifconfig -a ifup eth1时候也连接不上 此时，解决办法，执行命令 进入该文件 删除第一段网卡eth0的内 阅读全文
摘要：
五台机器已经配好ip地址和免秘钥登录，文中不在赘述，有疑问的同学可自行百度，另外本集群采用非root用户搭建，很多命令都带有sudo，若使用root用户搭建，可忽视，如果你也使用非root用户，请特别注意，免秘钥也是非root用户 集群规划 hadoop1hadoop2hadoop3hadoop4h 阅读全文
摘要：
MySQL的JOIN（一）：用法 MySQL的JOIN（二）：JOIN原理 MySQL的JOIN（三）：JOIN优化实践之内循环的次数 MySQL的JOIN（四）：JOIN优化实践之快速匹配 MySQL的JOIN（五）：JOIN优化实践之排序 原文链接：https://www.cnblogs.com 阅读全文
摘要：
百度关于ORC和Parquet文件的测试报告，可惜拿不出来，结论可以参考下，之前百度采用了Array{Map{Map}}这样的嵌套数据做的测试，400G的ORC数据文件，吃了1000G的内存，而Parquet相对好点，结论大概是ORC压缩比高，但是吃CPU和内存，适合存储空间吃紧，计算资源强大的集群 阅读全文
摘要：
vmware为我们提供了三种网络工作模式，它们分别是：Bridged（桥接模式）、NAT（网络地址转换模式）、Host-Only（仅主机模式）。 打开vmware虚拟机，我们可以在选项栏的“编辑”下的“虚拟网络编辑器”中看到VMnet0（桥接模式）、VMnet1（仅主机模式）、VMnet8（NAT模 阅读全文
摘要：
IP地址=网络地址+主机地址 网络地址: 192.168.100.0 主机地址: 0.0.0.1 IP地址: 网络地址+主机地址=192.168.100.1 广播地址: 192.168.100.255 一,为什么要计算网络地址 一句话就是让网络中的计算机能够相互通讯.先看看最简单的网络,图3中是用网 阅读全文