随笔分类 - 05-大数据
摘要：【From】 https://blog.csdn.net/u010990043/article/details/82842995 最近整理了一下spark SQL内置配。加粗配置项是对sparkSQL 调优性能影响比较大的项，小伙伴们按需酌情配置。后续会挑出一些通用调优配置，共大家参考。有不正确的地
阅读全文
摘要：diff <(hadoop fs -cat /path/to/file) <(hadoop fs -cat /path/to/file2)
阅读全文
摘要：【From】 https://blog.yoodb.com/yoodb/article/detail/157 使用HBase Java Client连接HBase服务端创建Configuration对象时遇到了此类错误，“hbase-default.xml file seems to be for
阅读全文
摘要：【From】 https://www.cnblogs.com/weiweifeng/p/8073553.html#undefined spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark
阅读全文
摘要：[From] http://kuaibao.qq.com/s/20180510G0UFL000?refer=cp_1026 最近TiDB掀起了一波分布式数据库的热潮，公司也在着手准备TiDB的落地工作，前几天也参与了几场公司针对TiDB的分享会，下面我们了解一下关于TiDB。 TiDB 是什么？ T
阅读全文
摘要：[From] http://bigdataprogrammers.com/string-date-conversion-hive/ Please refer below table to convert any date format into fixed format i.e yyyy-MM-dd
阅读全文
摘要：CentOS 7下Cloudera Manager及CDH 6.0.1安装过程详解 http://blog.51cto.com/wzlinux/2321433?source=dra Cloudera Manager安装_搭建CDH集群 https://www.cnblogs.com/haozheng
阅读全文
摘要：【From】 https://blog.csdn.net/maoyuanming0806/article/details/80807087 处理的问题flume 普通方式启动会有自己自动停掉的问题，这可能是linux的进程机制把他停掉的原因。 普通运行方式： flume后台运行 nohup加在原命令
阅读全文
摘要：hdfs dfs -find <path> | xargs -n 1000 hdfs dfs -rm -skipTrash
阅读全文
摘要：[From] https://blog.csdn.net/w405722907/article/details/77943331 Spark快速入门指南 – Spark安装与基础使用 2017年09月12日 11:35:27 阅读数：104 本教程由给力星出品，转载请注明。 Apache Spark
阅读全文
摘要：[From] https://www.ibm.com/developerworks/cn/analytics/library/ba-cn-bigdata-hbase/index.html HBase 在大数据生态圈中的位置 提到大数据的存储，大多数人首先联想到的是 Hadoop 和 Hadoop 中
阅读全文
摘要：[摘录自] https://www.yiibai.com/hadoop/hadoop_hdfs_operations.html#article-start 一、HDFS 使用基础 格式化配置HDFS文件系统，打开NameNode(HDFS服务器)，然后执行 hadoop namenode -form
阅读全文