笨小康

摘要： 本文主要介绍MySQL使用过程中有关时间处理的相关操作： MySQL时间更新（加上或减去一段时间） MySQL毫秒数和日期之间的转换 一、MySQL时间更新（加上或减去一段时间） 1.1 MySQL时间加减函数 DATE_ADD() 函数向日期添加指定的时间间隔；DATE_SUB() 函数向日期减少 阅读全文

摘要： S3存储（Simple Storage Service） 存储桶：存储桶是S3中用于存储对象的容器。每个对象都存储在一个存储桶中。 对象：对象是S3中存储的基本实体。对象由对象数据和元数据组成。数据部分对S3不透明，元数据是一组描述对象的名称-值对。 键： 键是存储桶中对象的唯一标识符。存储桶内的每 阅读全文

摘要： 一、MySQL常用操作 1.1 库表的创建和查看 新建数据库 查看所有数据库 使用数据库 查看所有表 新建表 查看建表信息 查看表结构信息 1.2 增 向表中添加数据 1.3 删 删除指定属性的数据 删除表中所有数据 删除表，包括表结构和表数据 1.4 查 查找所有数据 查找指定字段数据 根据条件查 阅读全文

摘要： 最近在研究MySQL数据库的库表迁移问题，主要分为两种情况，一种情况是迁移数据库的表的全部字段，另一种是迁移数据库的表的部分字段。前一种情况是直接使用mysqldump命令来实现，后一种情况则是采用数据写入本地再导入MySQL的思路。显然前一种情况也可以采用后一种情况的思路实现，但使用mysqldu 阅读全文

摘要： 分布式文件系统HDFS中对文件/目录的相关操作代码，整理了一下，大概包括以下部分： 文件夹的新建、删除、重命名 文件夹中子文件和目录的统计 文件的新建及显示文件内容 文件在local和remote间的相互复制 定位文件在HDFS中的位置，以及副本存放的主机 HDFS资源使用情况 1. 新建文件夹 2 阅读全文

摘要： Linux crontab是用来定期执行程序的命令。当安装完成操作系统之后，默认便会启动此任务调度命令。crontab命令每分钟会定期检查是否有要执行的工作，如果有要执行的工作便会自动执行该工作。 而Linux任务调度的工作主要分为以下两类： 系统执行的工作：系统周期性所要执行的工作，如备份系统数据 阅读全文

摘要： scp命令用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的，可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提高多少系统负荷 阅读全文

摘要： 一、Hadoop集群参数配置 在hadoop集群中，需要配置的文件主要包括四个，分别是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml，这四个文件分别是对不同组件的配置参数，具体如下： core-site.xml，集群全局参数。用于定 阅读全文

摘要： 一、经典MapReduce的作业运行机制 如下图是经典MapReduce作业的工作原理： 1.1 经典MapReduce作业的实体 经典MapReduce作业运行过程包含的实体： 客户端，提交MapReduce作业。 JobTracker，协调作业的运行。JobTracker是一个Java应用程序， 阅读全文

摘要： 一、Cloudera Manager简介 Cloudera Manager（后面简称CM）是CDH（Cloudera’s Distribution Including Apache Hadoop）市场领先的管理平台，对CDH每个部件都提供细粒度的可视化的监控，可以方便地部署，并且集中式的操作完整的大 阅读全文