架构艺术 - 博客园

2020年9月22日

摘要：开启了自动注释和自动缩进对粘帖代码不方便关闭自动注释:set fo-=r 关闭自动缩进（这个对C/C++代码好像无效）:set noautoindent关闭C语言缩进 :set nocindent 再 Shift + Insert 恢复 :set fo=r :set autoindent:set 阅读全文

posted @ 2020-09-22 15:09 架构艺术阅读(321) 评论(0) 推荐(0) 编辑

ping判断局域网ip使用情况

摘要： ping命令，判断局域网ip使用情况 for ((i=1; i<=254; i++)); do ping -q -n -c 10 -W 1 -i 0.5 -w 1 10.202.180.$i | grep -n1 -v '100\% packet loss';done 阅读全文

posted @ 2020-09-22 15:07 架构艺术阅读(265) 评论(0) 推荐(0) 编辑

shell判断有效日期

摘要： shell判断有效日期 #!/bin/bash TODAY="20180106" DIR_TARGET="/home/appdeploy/tianjin/test/sigma" function valid_date { tt=`date -d "$1"` return $? } cd $DIR_T 阅读全文

posted @ 2020-09-22 15:05 架构艺术阅读(446) 评论(0) 推荐(0) 编辑

2020年9月14日

Sqoop一些常用命令及参数

摘要： Sqoop一些常用命令及参数 5.1、常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。序号命令类说明 1 import ImportTool 将数据导入到集群 2 export ExportTool 将集群数据导出 3 cod 阅读全文

posted @ 2020-09-14 15:36 架构艺术阅读(2300) 评论(0) 推荐(0) 编辑

Sqoop案例-脚本打包

摘要：脚本打包使用opt格式的文件打包sqoop命令，然后执行 1) 创建一个.opt文件 $ mkdir opt $ touch opt/job_HDFS2RDBMS.opt 2) 编写sqoop脚本 $ vi opt/job_HDFS2RDBMS.opt export --connect jdbc: 阅读全文

posted @ 2020-09-14 15:34 架构艺术阅读(183) 评论(0) 推荐(0) 编辑

Sqoop案例-导出：HIVE/HDFS到RDBMS

摘要： HIVE/HDFS到RDBMS $ bin/sqoop export \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 阅读全文

posted @ 2020-09-14 15:33 架构艺术阅读(170) 评论(0) 推荐(0) 编辑

Sqoop案例-导入：RDBMS到Hive

摘要： $ bin/sqoop import \ --connect jdbc:mysql://linux01:3306/company \ --username root \ --password 123456 \ --table staff \ --num-mappers 1 \ --hive-impo 阅读全文

posted @ 2020-09-14 15:29 架构艺术阅读(130) 评论(0) 推荐(0) 编辑

Sqoop案例-导入：RDBMS到HDFS

摘要： Sqoop的简单使用案例 4.1.1、RDBMS到HDFS 1) 确定Mysql服务开启正常 2) 在Mysql中新建一张表并插入一些数据 $ mysql -uroot -p123456 mysql> create database company; mysql> create table comp 阅读全文

posted @ 2020-09-14 15:27 架构艺术阅读(195) 评论(0) 推荐(0) 编辑

Sqoop原理基础与安装

摘要：一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意，阅读全文

posted @ 2020-09-14 15:23 架构艺术阅读(205) 评论(0) 推荐(0) 编辑

DataX案例：读取MongoDB的数据导入MySQL

摘要：读取MongoDB的数据导入MySQL 1）在MySQL中创建表 mysql> create table jason(name varchar(20),url varchar(20)); 2）编写DataX配置文件 [jason@hadoop102 datax]$ vim job/mongodb2m 阅读全文

posted @ 2020-09-14 15:14 架构艺术阅读(2646) 评论(1) 推荐(0) 编辑