03 2018 档案
摘要：忘记本地root的登录密码解决过程：1、编辑/etc/my.cnf 在[mysqld] 配置部分添加一行 skip-grant-tables 2、保存后重启mysql service mysqld restart 3、登录数据库重新设置root密码 mysql -uroot -p mysql 老版本
阅读全文
摘要：Capacityscheduler Capacityscheduler允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分，这样
阅读全文
摘要：thrift.transport.TTransport.TTransportException: Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mec
阅读全文
摘要：压缩文件： zip -r res.zip [src/] [abc.txt] 解压文件： unzip res.zip -d dir_path
阅读全文
摘要：安装mysql客户端： yum install mysql 安装mysql-devel yum install mysql-devel pip安装 mysql-python: pip install mysql-python 文件安装 mysql-python: 拷贝源码到/usr/local/sr
阅读全文
摘要：pip可以很方便的安装、卸载和管理Python的包。virtualenv则可以建立多个独立的虚拟环境，各个环境中拥有自己的python解释器和各自的package包，互不影响。pip和virtualenv可以很好的协同工作，同时使用这两个工具非常方便。一般先安装pip，安装好后，pip instal
阅读全文
摘要：https://www.cnblogs.com/yesecangqiong/p/6274427.html 关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个资料都不能很好的理解透彻。于是，最近查了大量的资料，综合各种解释，终于理解到了一个比较清晰的程度，在
阅读全文
摘要：https://tez.apache.org/releases/0.8.4/tez-api-javadocs/configs/TezConfiguration.html
阅读全文
摘要：http://www.javatang.com/archives/2017/10/20/12131956.html 前面提到了一个使用jstack的shell脚本，通过命令可以很快地定位到指定线程对应的堆栈信息。 目录 [隐藏] 1 使用jstat命令 2 JVM内存模型 3 JVM内存参数设置 3
阅读全文
摘要：转载：http://blog.csdn.net/u011630575/article/details/52940099 buildout简介 Buildout 是一个基于Python的构建工具, Buildout 主要是为了解决两个问题: 中心化的应用组装和部署 重复的从Python软件发布中组装项
阅读全文
摘要：大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离 请尊重原创，转载请注明来源网站www.shareditor
阅读全文
摘要：在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”）
阅读全文
摘要：行转列： concat_ws 列转行： explode
阅读全文
摘要：http://blog.csdn.net/koflance/article/details/63262484
阅读全文
摘要：http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51448188 hive on spark VS SparkSQL VS hive on tez 前一
阅读全文
摘要：一、在命令行使用命令查看 (1)查看日志：yarn logs -applicationId application_1469094096026_26612 (2)查看状态：yarn applicaiton -status application_1469094096026_26612 红色字体代表a
阅读全文
