摘要：
hive_dml 数据操作语言：首先创建表：create table dept_count(num int) partitioned by (dname string)insert： insert into table dept_count partition (dname='销售部') selec 阅读全文
摘要：
calendar类 calendar类是时间处理类 比如在scala中 //字符串转化日期格式 val df = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss")//创建对象 val date = df.parse("2018-02-24")// data为Da 阅读全文
摘要：
linux 下ln命令 ln命令用来为文件创建连接，连接类型分为硬连接和符号连接两种，默认的连接类型是硬连接。如果要创建符号连接必须使用"-s"选项。注意：符号链接文件不是一个独立的文件，它的许多属性依赖于源文件，所以给符号链接文件设置存取权限是没有意义的。 ln -sf a b 建立软连接，b指向 阅读全文
摘要：
hdfs 文件系统命令操作 【1】hdfs dfs -ls [目录]. 显示所有文件 hdfs dfs -ls -h /user/20170214.txt 显示文件时，文件大小以人易读的形式显示 【2】hdfs dfs -put 20161120.txt /user/optadmin/ 将服务器当前 阅读全文
摘要：
公钥私钥登陆过程详情 公钥匙给别人用的，私钥是自己的 整个过程是这样的： （1）远程主机收到用户的登录请求，把自己的公钥发给用户。 （2）用户使用这个公钥，将登录密码加密后，发送回来。 （3）远程主机用自己的私钥，解密登录密码，如果密码正确，就同意用户登录。 阅读全文
摘要：
linux 基本操作： pwd 显示当前目录 ll 用于查看文件和目录，即list，其参数比较多 -l 列出数据串，包含文件的属性和权限数据等 -a 列出全部文件，包含隐藏文件 -d 仅列出目录本身，而不是列出目录下的文件数据 -h 讲文件容量以易读方式列出，如GB，KB -R 递归列出该目录及其子 阅读全文
摘要：
ssh终端远程登陆主机命令 ssh user@host ssh optadmin@10.55.45.38 阅读全文
摘要：
idea： 1. command+d 删除行 2. command+o 重写父类方法 3. option+command+v 自动补全变量 4. 将普通java项目变成maven项目 在项目名称上点击右键->Add Framework Support…->添加maven 5 option+del 删 阅读全文
摘要：
Mac配置hadoop1.修改 /etc/hosts127.0.0.1 localhost2.下载hadoop2.9.0和jdk并安装配置相应环境 vim /etc/profile export HADOOP_HOME=/Users/yg/app/cluster/hadoop-2.9.0 expor 阅读全文
摘要：
1： =DATE(MID(A1,1,4),MID(A1,5,2),MID(A1,7,2)) 字符串返回日期类型 2: WEEKDAY(serial_number,return_type) ▪ serial_number: 一个表示返回值类型的数字: . ▪ return_type: 从 星期日=1 阅读全文
摘要：
macport命令：sudo port sync //同步本地和全球的ports tree,但不检查自己是否有更新.sudo port install python36 //安装python36sudo port install py36-pipsudo port select --set pyth 阅读全文
摘要：
前言： hadoop生态圈： Flume 日志收集工具 Sqoop 关系数据ETL工具，关系数据库和hadoop生态体系中数据导入导出的工具 Mahout 数据挖掘，有一些定义好的mapreduce的算法可以直接调用 Pig 数据流处理语言 Hive 数据仓库 MapReduce 分布式计算框架 H 阅读全文
摘要：
1.mapreduce Map中setup运行在map之前 2. hive： 数据仓库 hive：解释器，编译器，优化器等 hive运行时，元数据存储在关系型数据库里面 ？？？netstat -nplt | grep 3306 _________ mysql运行时，监听本地3306端口， ？？？my 阅读全文
摘要：
*************** hadoop 2.x ***************************一、hadoop2.x介绍 1.使用zookeeper做HA，主备namenode可以手动切换，也可基于zookeepr自动切换2.自动切换方案-zookeeperFailoverContro 阅读全文