05 2019 档案
摘要：linux换行为\n，windows换行为\r\n，windows环境编辑的shell脚本在linux下执行会报错： line 2: $'\r': command not found 查看 # cat -A test.sh #!/bin/sh^M$^M$... 解决方法： vi 1）替换 :%s/^
阅读全文
摘要：概述 The Agent is started by init.d at start-up. It, in turn, contacts the Cloudera Manager Server and determines which processes should be running. The
阅读全文
摘要：一 对比 存储空间对比： 查询性能对比： 二 设计方案 将数据拆分为：历史数据（hdfs+parquet+snappy）+ 近期数据（kudu），可以兼具各种优点： 1）整体低于10%的磁盘占用； 2）更少的查询耗时； 3）近期数据实时更新； 4）近期数据可修改； 5）kudu集群重启时间降低90%
阅读全文
摘要：kudu的副本数量是在表上设置，可以通过命令查看 # sudo -u kudu kudu cluster ksck $master ... Summary by table Name | RF | Status | Total Tablets | Healthy | Recovering | Und
阅读全文
摘要：kudu加减数据盘不能直接修改配置fs_data_dirs后重启，否则会报错： Check failed: _s.ok() Bad status: Already present: FS layout already exists; not overwriting existing layout:
阅读全文
摘要：kudu rebalance命令报错 terminate called after throwing an instance of 'std::regex_error' what(): regex_error *** Aborted at 1558779043 (unix time) try "da
阅读全文
摘要：从impala中创建kudu表之后，如果想从hive或spark sql直接读取，会报错： Caused by: java.lang.ClassNotFoundException: com.cloudera.kudu.hive.KuduStorageHandler at java.net.URLCl
阅读全文
摘要：kudu并没有命令可以直接查看每个table占用的空间，可以从cloudera manager上间接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances for each tabl
阅读全文
摘要：kudu写入压力大时报错 19/05/18 16:53:12 INFO AsyncKuduClient: Invalidating location fd52e4f930bc45458a8f29ed118785e3(server002:7050) for tablet 4259921cdcca477
阅读全文
摘要：启动进程后查看日志（stdout和stderr） 1 nohup+tail # nohup $cmd > /path/to/file 2>&1 & # tail -f /path/to/file append # nohup $cmd >> /path/to/file 2>&1 & 2 tee #
阅读全文
摘要：1 下载 https://www.mongodb.com/download-center/community 比如： https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.9.tgz 2 连接 # cd $MONGODB_HOME# bi
阅读全文
摘要：spark2.4.3+kudu1.9 1 批量读 val df = spark.read.format("kudu") .options(Map("kudu.master" -> "master:7051", "kudu.table" -> "impala::test_db.test_table")
阅读全文
摘要：hue启动coordinator时报错，页面返回undefinied错误框： 后台日志报错： runcpserver.log [13/May/2019 04:34:55 -0700] middleware INFO Processing exception: 'NoneType' object ha
阅读全文
摘要：/opt/cloudera/parcels/CDH/lib/hue/apps/beeswax/src/beeswax/conf.py # Deprecated DOWNLOAD_CELL_LIMIT = Config( key='download_cell_limit', default=10000
阅读全文
摘要：spark-2.4.2kudu-1.7.0 开始尝试 1）自己手工将jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar # bin/spark-shell scala> val df = spar
阅读全文
摘要：nginx location =：精确匹配（必须全部相等） ~：大小写敏感，正则匹配 ~*：忽略大小写，正则匹配 ^~：只需匹配uri部分，精确匹配 @：内部服务跳转，精确匹配 优先级： Exact match = Forward match ^~ / Case sensitive regex ~
阅读全文
摘要：flume kudu sink运行一段时间报错： 19/05/05 10:15:56 WARN client.ConnectToCluster: Error receiving a response from: master:7051 org.apache.kudu.client.Recoverab
阅读全文
