任重而道远的小蜗牛

2019年2月20日

摘要： 1.分组函数有哪些?max 最大值min 最小值sum 求和 avg 求平均值 count 求个数2.分组语法是什么? 我们要注意什么?group by 的用法: group by 的后面跟的是分组的条件，例如用 stu_no 进行分组，可以写成 group by stu_no 如果需要多重分组，阅读全文

posted @ 2019-02-20 14:56 任重而道远的小蜗牛阅读(262) 评论(0) 推荐(0) 编辑

linux文件配置大全

摘要： 1. alias alias rzcd='cd /root/ruozedata/' 注意此处的=前后一定不要有空格如果有空格会报错当前session生效 /###/这是当前session生效永久生效怎么配置？永久生效全局环境变量文件 /etc/profile root jepson等等阅读全文

posted @ 2019-02-20 14:37 任重而道远的小蜗牛阅读(318) 评论(0) 推荐(0) 编辑

2019年2月19日

运行mapreduce

摘要：运行mapreducemap 映射reduce 规约 [hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 阅读全文

posted @ 2019-02-19 22:57 任重而道远的小蜗牛阅读(178) 评论(0) 推荐(0) 编辑

查看hadoop日志的方法

摘要：查看日志的方法 hadoop-hadoop-datanode-hadoop002.loghadoop-用户-进程名称-机器名称hadoop日志分为log日志和out日志，我们基本上只看log日志[hadoop@hadoop001 hadoop-2.6.0-cdh5.7.0]$ cd logs/[ha 阅读全文

posted @ 2019-02-19 21:43 任重而道远的小蜗牛阅读(12921) 评论(0) 推荐(0) 编辑

jps命令的使用和pid文件的注意事项

摘要： 2.jps命令的真相2.1位置哪里的[hadoop@hadoop002 hadoop-2.6.0-cdh5.7.0]$ which jps/usr/java/jdk1.8.0_45/bin/jps 2.2对应的进程的标识文件在哪 /tmp/hsperfdata_进程用户名称 [hadoop@hado 阅读全文

posted @ 2019-02-19 21:31 任重而道远的小蜗牛阅读(750) 评论(0) 推荐(0) 编辑

构建ssh信任关系

摘要：构建ssh信任关系之前的配置也是可以的，但是我们为了统一重新再来一次配置[hadoop@hadoop002 ~]$ rm -rf .ssh[hadoop@hadoop002 ~]$ ssh-keygenGenerating public/private rsa key pair.Enter fi 阅读全文

posted @ 2019-02-19 21:16 任重而道远的小蜗牛阅读(271) 评论(0) 推荐(0) 编辑

hdfs的部署

摘要： 1.hdfs三个进程分别为namenode、datanode、secondarynamenode hdfs是hadoop的一个组件，hadoop一共有3个组件分别为hdfs，yarn，mapreduce，这三个组件的功能分别为存储，调度，计算 hdfs三个进程要以hadoop002启动需要配置文件，阅读全文

posted @ 2019-02-19 21:02 任重而道远的小蜗牛阅读(1061) 评论(0) 推荐(0) 编辑

yarn的部署

摘要： Yarn: 资源和作业调度是需要部署的 MapReduce on Yarn http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html查看以下内容的官网 Configure pa 阅读全文

posted @ 2019-02-19 20:18 任重而道远的小蜗牛阅读(1002) 评论(0) 推荐(0) 编辑

2019年2月17日

hdfs部署环境准备&hdfs伪劣分布式部署

摘要： Hadoop:广义: 以apache hadoop软件为主的生态圈(hive zookeeper spark hbase)狭义: apache hadoop软件 hadoop.apache.orghive.apache.orgspark.apache.org hadoop软件:1.x 企业不用2.x 阅读全文

posted @ 2019-02-17 16:37 任重而道远的小蜗牛阅读(498) 评论(0) 推荐(0) 编辑

'telnet' 不是内部或外部命令，也不是可运行的程序或批处理文件。

摘要：解决方法 1.打开我的电脑找到卸载或更改程序（自己在开始里搜索也行不一样的window系统不一样的页面我的是win10）点击右侧的相关设置下的程序和功能然后点击左侧的启用和关闭window功能点击后会弹出一个小窗口，提示请稍后，部分电脑在这里可能会卡一段时间，属正常现象，稍等片刻就可以了，阅读全文

posted @ 2019-02-17 15:48 任重而道远的小蜗牛阅读(7457) 评论(0) 推荐(0) 编辑

IT界的小十七

公告