摘要: Ctrl+Shift + Enter,语句完成“!”,否定完成,输入表达式时按 “!”键Ctrl+E,最近的文件Ctrl+Shift+E,最近更改的文件Shift+Click,可以关闭文件Ctrl+[ OR ],可以跑到大括号的开头与结尾Ctrl+F12,可以显示当前文件的结构Ctrl+F7,可以查 阅读全文
posted @ 2018-04-14 13:39 小宁哥 阅读(138) 评论(0) 推荐(0) 编辑
摘要: 前提条件(环境要求) jdk版本:1.7+ scala版本:1.10.4+ maven版本:3.3.3+ 本博客中使用的软件版本 spark版本:spark-1.6.1.tar.gz(源码) jdk版本:jdk-8u151-linux-x64.tar.gz maven版本:apache-maven- 阅读全文
posted @ 2018-04-10 13:08 小宁哥 阅读(209) 评论(0) 推荐(0) 编辑
摘要: <!--国内镜像--><mirror> <id>CN</id> <name>OSChina Central</name> <url>http://maven.oschina.net/content/groups/public/</url> <mirrorOf>central</mirrorOf> < 阅读全文
posted @ 2018-04-09 22:55 小宁哥 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 一、ETL介绍: 数据抽取:把不同的数据源数据抓取过来,存到某个地方 数据清洗:过滤那些不符合要求的数据或者修正数据之后再进行抽取 不完整的数据:比如数据里一些应该有的信息缺失,需要补全后再写入数据仓库 错误的数据:比如字符串数据后面有一个回车操作、日期格式不正确、日期越界等,需要修正之后再抽取 重 阅读全文
posted @ 2018-02-10 22:49 小宁哥 阅读(2454) 评论(2) 推荐(0) 编辑
摘要: vsftpd 安装(Linux)一、安装系统环境 centos 6.9 64位二、vsftpd版本 vsftpd-2.2.2-24.el6.x86_64三、安装步骤1.安装 执行 yum -y install vsftpd eg: (1)是否使用sudo权限执行请根据您具体环境来决定 (2)rpm 阅读全文
posted @ 2018-02-10 20:22 小宁哥 阅读(632) 评论(0) 推荐(0) 编辑
摘要: 一、git简介 git是一款免费、开放源代码的分布式版本控制系统特点: git是一个开源的分布式版本控制系统,可以有效, 高速的处理从很小到非常大的项目版本管理 二、git安装 Linux:下载、安装1.安装系统环境 centos 6.9 64位2.git版本 2.8.03.安装步骤 (1)从Git 阅读全文
posted @ 2018-02-10 20:13 小宁哥 阅读(598) 评论(0) 推荐(0) 编辑
摘要: hue下载地址:https://github.com/cloudera/hue hue学习文档地址:http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html 我目前使用的是hue-3.7.0-cdh5.3.6 hue( 阅读全文
posted @ 2018-02-10 19:32 小宁哥 阅读(1746) 评论(1) 推荐(0) 编辑
摘要: sqoop安装需要提前安装好sqoop依赖:hadoop 、hive、hbase、zookeeper hadoop安装步骤请访问:http://www.cnblogs.com/xningge/articles/8433297.html hive安装步骤请访问:http://www.cnblogs.c 阅读全文
posted @ 2018-02-08 23:48 小宁哥 阅读(5840) 评论(0) 推荐(0) 编辑
摘要: hive依赖hadoop 需要的软件包:hive-0.13.1-cdh5.3.6.tar.gz 、hadoop-2.5.0-cdh5.3.6.tar.gz 1、hadoop的安装步骤请访问: http://www.cnblogs.com/xningge/articles/8433297.html 2 阅读全文
posted @ 2018-02-08 23:29 小宁哥 阅读(9698) 评论(0) 推荐(0) 编辑
摘要: 《一》线上查询及帮助命令(2)1.man man [选项] [命令] 查看命令帮助,命令的词典,更复杂的还有info,但不常用。 #man cd-a 显示所有的手册页,不只是显示第一个-f 只显示命令的功能,而不显示详细的说明文件,跟whatis命令相同-w 不显示手册内容,只显示将被格式化和显示的 阅读全文
posted @ 2018-02-08 22:36 小宁哥 阅读(433) 评论(0) 推荐(1) 编辑
摘要: vsftpd配置文件详解 1.默认配置: 1>允许匿名用户和本地用户登陆。 anonymous_enable=YES local_enable=YES 2>匿名用户使用的登陆名为ftp或anonymous,口令为空;匿名用户不能离开匿名用户家目录/var/ftp,且只能下载不能上传。 3>本地用户的 阅读全文
posted @ 2018-02-10 21:16 小宁哥 阅读(180) 评论(0) 推荐(0) 编辑