linuxws

2019年4月30日

摘要：本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明：在hadoop2中有些参数名称过时了，例阅读全文

posted @ 2019-04-30 22:24 linuxws 阅读(298) 评论(0) 推荐(0) 编辑

什么是hive

摘要： Hadoop Hive概念学习系列之什么是Hive？参考《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002 Hive最初是应Facebo 阅读全文

posted @ 2019-04-30 22:24 linuxws 阅读(547) 评论(0) 推荐(0) 编辑

2019年4月27日

hive

摘要： hive进行mapreduce卡壳解决方法在google搜索得出的解决方案是在执行的hive语句前添加以下几条参数值设定语句： set mapreduce.job.reduces=512;set hive.groupby.skewindata=true;set hive.optimize.skew 阅读全文

posted @ 2019-04-27 22:56 linuxws 阅读(413) 评论(0) 推荐(0) 编辑

待整理

摘要： shipyard中文版正式发布一、 Docker Shipyard是什么？shipyard是一个开源的docker管理平台，其特性主要包括：支持节点动态集群，可扩展节点的规模（swarm、etcd方案）支持镜像管理、容器管理、节点管理等功能可视化的容器管理和监控管理在线容器console 阅读全文

posted @ 2019-04-27 20:32 linuxws 阅读(221) 评论(0) 推荐(0) 编辑

hive 和 k8s、swarm的作业

该文被密码保护。阅读全文

posted @ 2019-04-27 19:07 linuxws 阅读(3) 评论(0) 推荐(0) 编辑

swarm1

摘要： type 必选项，1表示container，2表示swarm stack，3表示compose stack title 必选项 description 必选项 image 必选项，该应用使用的docker镜像 administrator_only 可选项，是否只有管理员可用模板 name 可选项，该阅读全文

posted @ 2019-04-27 12:58 linuxws 阅读(186) 评论(0) 推荐(0) 编辑

shell练习题

摘要： 20、编写批量修改扩展名脚本 #!/bin/bash # 编写批量修改扩展名脚本,如批量将 txt 文件修改为 doc 文件 # 执行脚本时,需要给脚本添加位置参数 # 脚本名 txt doc(可以将 txt 的扩展名修改为 doc) # 脚本名 doc jpg(可以将 doc 的扩展名修改为 jp 阅读全文

posted @ 2019-04-27 00:56 linuxws 阅读(977) 评论(0) 推荐(0) 编辑

2019年4月26日

大数据

摘要： https://blog.51cto.com/14306339/2384829 https://blog.51cto.com/14078334/2384775 https://blog.51cto.com/13854477/2383947 https://blog.51cto.com/1385447 阅读全文

posted @ 2019-04-26 23:19 linuxws 阅读(132) 评论(0) 推荐(0) 编辑

2019年4月25日

优化

摘要：执行结果： curl -sS --connect-timeout 3 -m 60 $node/check.txt [root@xuegod-node1 docker]# sysctl -a|grep fs.file #查看系统级限制最大打开文件描述符的限制。fs.file-max = 95896f 阅读全文

posted @ 2019-04-25 21:22 linuxws 阅读(259) 评论(0) 推荐(0) 编辑

gnu

摘要： https://www.gnu.org/software/ 阅读全文

posted @ 2019-04-25 12:55 linuxws 阅读(126) 评论(0) 推荐(0) 编辑

公告