随笔分类 - 经验
摘要：https://hadoop.apache.org A distributed file system that provides high-throughput access to application data. 特点： 大文件、一次写入多次读取，修改只支持Append 多副本 流式、非低延时
阅读全文
摘要：一 50年科技发展史 方向 公司组织 年代 代表 大型机 IBM 70年代 System z、AIX 小型机 DEC、SUN 80年代 SPARC、Solaris 廉价PC+光纤 Google 90年代 Intel、Seagate 大数据 Google 2003-2004 GFS、MapReduce
阅读全文
摘要：1 冷热分离（Hot/Warm/Cold） Index Lifecircle Management Policy 索引特点 Hot: 索引被更新，大量被查询 Warm: 索引不更新，偶尔被查询 Cold: 索引不更新，很少被查询 Delete: 索引不更新，不被查询 参考：https://www.e
阅读全文
摘要：一 测试数据 SSB (Star Schema Benchmark) SSB SSB将TPC-H的雪花模式简化为了星型模式，将基准查询由TPC-H的复杂Ad-Hoc查询改为了结构更固定的OLAP查询 table comment lineorder 订单表 customer 用户表 supplier
阅读全文
摘要：*** doris clickhouse 官网 http://doris.apache.org/ https://clickhouse.tech/ 版本 0.14.0 21.7.2.7 开源 是 是 开发语言 * java + c c 安装 源码编译 rpm包 定位 olap olap 架构 mpp
阅读全文
摘要：所有选项如下： 命令示例如下： bin/kafka-consumer-groups.sh --bootstrap-server kafka_1:9092,kafka_2:9092,kafka_3:9092,kafka_4:9092,kafka_5:9092 --group group_name --
阅读全文
摘要：kafka开启压缩后，可以极大的优化磁盘占用和网络传输开销，以及cpu占用和gc时间，开启压缩的参数为compression.type Specify the final compression type for a given topic. This configuration accepts t
阅读全文
摘要：impala从3.1版本开始支持orc格式查询，不过是experimental 开启方法，在cdh的impala配置中添加 --enable_orc_scanner=true 然后重启impala集群。 官方文档： https://docs.cloudera.com/documentation/en
阅读全文
摘要：hive-site.xml 1 接入ldap或ad域 <property> <name>hive.server2.authentication</name> <value>LDAP</value> </property> <property> <name>hive.server2.authentic
阅读全文
摘要：背景 hive读取纯文本数据，无论是：原始格式、gzip、bzip，都可以自动识别，不需要修改建表语句或修改setting。 但是使用gobblin开启gzip压缩之后保存文件使用hive读取发生乱码。 定位 首先怀疑是文件损坏 gobblin开启压缩之后写的文件为：*.txt.gzip，将该文件下
阅读全文
摘要：假如hive中table或者partition的location错误或者丢失，需要批量修复，可以参考如下步骤： 修复table的location hdfs dfs -ls /data/hive/warehouse/$db | awk '{print $8}' |sed '1d' | awk -F '
阅读全文
摘要：m1版本的mac,使用mac os 11 Big sur启动idea正常,但是mac os 12 Monterey启动失败,提示 idea意外退出,点按“重新打开”以再次打开应用程序 idea quit unexpectedly, Click Reopen to open the applicati
阅读全文
摘要：git pull时如果经常遇到以下错误： Encountered end of file fatal: The remote end hung up unexpectedly 由于网络条件不佳，可以换网，或者可以尝试增加配置 git config --global http.lowSpeedLimi
阅读全文
摘要：frp 简介 frp is a fast reverse proxy to help you expose a local server behind a NAT or firewall to the Internet. As of now, it supports TCP and UDP, as
阅读全文
摘要：u盘或移动硬盘插入usb之后，通过 fdisk -l 可以找到分区，比如 /dev/sdc1，然后挂载 mount /dev/sdc1 /usb 如果有报错，可能是不同的文件系统问题，如下： 1 ntfs文件系统 yum install ntfs-3g mount -t ntfs-3g /dev/s
阅读全文
摘要：centos启动进入emergency mode，登录root帐号之后可以通过 journalctl -xb 来查看日志，里边会有具体的错误信息，常见的错误有两种： 1）如果你重启前改动过 /etc/fstab，有可能是配置有问题，重新检查该文件，然后再 reboot 重启，问题解决; 2）如果你重
阅读全文
摘要：Windows xshell或securecrt会自动保持连接，putty设置如下： In your session properties, go to Connection and under Sending of null packets to keep session active, set
阅读全文
摘要：允许修改注册表 gpedit.msc 用户配置--管理模板--系统--阻止访问注册表-已禁用 删除注册表 HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\TerminalServer\RCM\GracePeriod 只保留default
阅读全文
摘要：安装arch virtualbox/vagrant 都可以 更新源 pacman -Syy pacman -Syu 安装yaourt vim /etc/pacman.conf [archlinuxcn] Server=https://mirrors.ustc.edu.cn/archlinuxcn/$
阅读全文
摘要：RDP RDP(Remote Display Protocol)远程显示协议。 任意rdp客户端都可以连接任意rdp服务端,以下可自由组合 一 windows远程桌面 1 rdp服务端 允许远程访问 2 rdp客户端 run(Windows+R)->mstsc 二 linux远程桌面 1 rdp服务
阅读全文
