0xcafedaddy

摘要： 安装mysql客户端： yum install mysql 安装mysql-devel yum install mysql-devel pip安装 mysql-python: pip install mysql-python 文件安装 mysql-python: 拷贝源码到/usr/local/sr 阅读全文

摘要： pip可以很方便的安装、卸载和管理Python的包。virtualenv则可以建立多个独立的虚拟环境，各个环境中拥有自己的python解释器和各自的package包，互不影响。pip和virtualenv可以很好的协同工作，同时使用这两个工具非常方便。一般先安装pip，安装好后，pip instal 阅读全文

摘要： https://www.cnblogs.com/yesecangqiong/p/6274427.html 关于mapreduce程序运行在yarn上时内存的分配一直是一个让我蒙圈的事情，单独查任何一个资料都不能很好的理解透彻。于是，最近查了大量的资料，综合各种解释，终于理解到了一个比较清晰的程度，在 阅读全文

摘要： https://tez.apache.org/releases/0.8.4/tez-api-javadocs/configs/TezConfiguration.html 阅读全文

摘要： http://www.javatang.com/archives/2017/10/20/12131956.html 前面提到了一个使用jstack的shell脚本，通过命令可以很快地定位到指定线程对应的堆栈信息。 目录 [隐藏] 1 使用jstat命令 2 JVM内存模型 3 JVM内存参数设置 3 阅读全文

摘要： 转载：http://blog.csdn.net/u011630575/article/details/52940099 buildout简介 Buildout 是一个基于Python的构建工具, Buildout 主要是为了解决两个问题: 中心化的应用组装和部署 重复的从Python软件发布中组装项 阅读全文

摘要： 大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，我们来研究一下yarn多队列做资源隔离 请尊重原创，转载请注明来源网站www.shareditor 阅读全文

摘要： 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务（这就是所谓的“资源调度”） 阅读全文

摘要： 行转列： concat_ws 列转行： explode 阅读全文

摘要： http://blog.csdn.net/koflance/article/details/63262484 阅读全文

摘要： http://blog.csdn.net/wtq1993/article/details/52435563 http://blog.csdn.net/yeruby/article/details/51448188 hive on spark VS SparkSQL VS hive on tez 前一 阅读全文

摘要： 一、在命令行使用命令查看 (1)查看日志：yarn logs -applicationId application_1469094096026_26612 (2)查看状态：yarn applicaiton -status application_1469094096026_26612 红色字体代表a 阅读全文

摘要： http://www.talkwithtrend.com/Question/177983-1247453 一些测试的描述如下内容最为详细，供你参考： 测试对于验证系统的正确性、分析系统的性能来说非常重要，但往往容易被我们所忽视。为了能对系统有更全面的了解、能找到系统的瓶颈所在、能对系统性能做更好的改 阅读全文

摘要： a表示显示目录下所有的文件和文件夹（不含子目录） h表示以人类能看懂的方式 max-depth表示目录的深度<!--EndFragment--> 阅读全文

摘要： http://blog.csdn.net/lipeng_bigdata/article/details/51160359 UnderReplicatedBlocks是HDFS中关于块复制的一个重要数据结构。在HDFS的高性能、高容错性体系中，总有一些原因促使HDFS系统内进行块复制工作，比如基于高性 阅读全文

摘要： 转载：http://blog.csdn.net/jek123456/article/details/65658790 在某个Logstash的场景下，我产生了为什么不能用Flume代替Logstash的疑问，因此查阅了不少材料在这里总结，大部分都是前人的工作经验下，加了一些我自己的思考在里面，希望对 阅读全文

摘要： 创建hive表： 导入数据： 将表转换成ORC表： 阅读全文

摘要： https://www.cnblogs.com/Kellana/p/5844919.html 在mongodb 集群中，if 存在orphaned documents 和chunk migration， count查询可能会导致一个不正确的查询结果，例如我就是踩的这个坑，先不说话，看结果： skip 阅读全文

摘要： hdfs dfs -du -h 查看各个HDFS空间占用情况 hdfs dfs -rmr /user/fughting/.Trash/Current 就可以清空fighting这个用户的回收站了(但是这种方式并不会删除文件。会将其放到另外一个.Trash) 需要添加参数： -skipTrash 才会 阅读全文

摘要： https://community.hortonworks.com/questions/449/how-to-reset-ambari-admin-password.html 1) Postgres - As mentioned earlier 2) Mysql Login as root user 阅读全文