摘要: HBase shell窗口进入 执行命令hbase shell HBase表的创建 # 语法:create <table>, {NAME => <family>, VERSIONS => <VERSIONS>}# 例如:创建表t1,有两个family name:f1,f2,且版本数前者为3,后者为1 阅读全文
posted @ 2018-01-23 15:31 大数据技术宅 阅读(70420) 评论(0) 推荐(0) 编辑
摘要: 查看从第5行开始的100行内容,并把结果重定向到一个新的文件 cat file | tail -n +5 | head -n 100 > newfile.txt 查看第5行到100行的内容,并把结果重定向到一个新的文件 cat file | head -n 100 | tail -n +5 备注:还 阅读全文
posted @ 2018-01-15 16:58 大数据技术宅 阅读(6266) 评论(0) 推荐(0) 编辑
摘要: (1)两个文件的交集,并集 1. 取出两个文件的并集(重复的行只保留一份) cat file1 file2 | sort | uniq > file3 2. 取出两个文件的交集(只留下同时存在于两个文件中的文件) cat file1 file2 | sort | uniq -d > file3 3. 阅读全文
posted @ 2017-11-16 17:51 大数据技术宅 阅读(12207) 评论(1) 推荐(2) 编辑
摘要: 【转载出处】http://blog.csdn.net/jobschen/article/details/68942574 想用impala-shell 命令行中将查询的结果导出到本地文件,想当然的以为impala 和 hive 一样可以用 insert overwrite local directo 阅读全文
posted @ 2017-11-08 11:15 大数据技术宅 阅读(4842) 评论(0) 推荐(0) 编辑
摘要: 转:https://www.jiqizhixin.com/articles/30dc6dd9-39cd-406b-9f9e-041f5cbf1d14 这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。 这些案例适合那些想 阅读全文
posted @ 2017-11-01 14:32 大数据技术宅 阅读(309) 评论(0) 推荐(0) 编辑
摘要: linux命令方式下载 step1: >>ftp ip port 根据提示输入用户名 根据提示输入用户密码 >>cd 目录(重要:一定要进入文件所在的目录) >>get 文件名(重要提示:非文件夹,文件名为要下载的远程文件) 备注:get 文件名 【local file】,若不指定local fil 阅读全文
posted @ 2017-10-31 19:11 大数据技术宅 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 交集 scala> Set(1,2,3) & Set(2,4)res1: scala.collection.immutable.Set[Int] = Set(2) 并集 scala> Set(1,2,3) | Set(2,4)res2: scala.collection.immutable.Set[ 阅读全文
posted @ 2017-10-13 14:40 大数据技术宅 阅读(1231) 评论(0) 推荐(1) 编辑
摘要: import org.apache.spark.{SparkConf, SparkContext}/** * Created by loushsh on 2017/10/9. */object WordCount { def main(args:Array[String]): Unit ={ val 阅读全文
posted @ 2017-10-10 10:39 大数据技术宅 阅读(1551) 评论(0) 推荐(0) 编辑
摘要: >>spark-submit --class WordCount DataMining.jar /dept_ana/part-00000 /dept_ana/output/wordCountResult --master yarn --num-executors 30 --executor-memo 阅读全文
posted @ 2017-10-10 09:50 大数据技术宅 阅读(1035) 评论(0) 推荐(0) 编辑
摘要: 下一步 下一步 点击apply,OK,进入IDEA主页面,选择Build,找到Build Artifact,下一步 jar包即打好,成功! 阅读全文
posted @ 2017-09-27 17:26 大数据技术宅 阅读(690) 评论(0) 推荐(0) 编辑