随笔分类 -  hadoop

摘要：MapReduce框架主要是map和reduce阶段来计算的，map和reduce是如何协同计算的，下面直接上干货。 1 分片、格式化数据源： 输入Map阶段的数据流，必须经过分片和格式化的操作，即： 分片操作：指的是将源文件划分为相等的小数据块（Hadoop2.x中默认为128M），也就是分片（s 阅读全文

摘要：对于普通进程或者docker容器进程，原理都基本一致，理解即可 查询进程的pid 这里以mysql 为例查找 利用ps aux | grep mysql (这里利用ps- ef效果都是一样的) 可以看到pid在第二列，这里需要注意。 将此命令加进脚本里面 #!/bin/bash #mysql的所有进 阅读全文