摘要：val NONE = new StorageLevel(false, false, false, false) val DISK_ONLY = new StorageLevel(true, false, false, false) val DISK_ONLY_2 = new StorageLevel
阅读全文
posted @ 2018-07-31 14:50
07 2018 档案
摘要：cache只有一个默认的缓存级别MEMORY_ONLY ，而persist可以根据StorageLevel设置其它的缓存级别。 cache以及persist都不是action。 被重复使用的(但是)不能太大的RDD需要cache cache 只使用 memory，checkpoint写磁盘 rdd.
阅读全文
posted @ 2018-07-31 11:13
摘要：grep命令用于查找文件里符合条件的字符串。 [root@host tmpdata]# grep 'shenzhen' *.txt hivelog.txt:tianyongtao 1 50 shenzhenhivelog.txt:wangwu 1 85 shenzhenhivelog.txt:zha
阅读全文
posted @ 2018-07-30 15:06
摘要：GROUP_CONCAT() 函数的值等于属于一个组的指定列的所有值，以逗号隔开，并且以字符串表示 mysql> select sex,group_concat(level) from role group by sex;+ + +| sex | group_concat(level) |+ + +
阅读全文
posted @ 2018-07-19 16:53
摘要：scala> import org.apache.spark.sql.hive.HiveContextimport org.apache.spark.sql.hive.HiveContext scala> val hcon=new HiveContext(sc)warning: there was
阅读全文
posted @ 2018-07-19 16:11
摘要：在使用SecureCRT上传下载之前需要给服务器安装lrzsz： yum -y install lrzsz rz中的r意为received（接收），输入rz时、意为服务器接收文件，既将文件从本地上传到服务器。sz中的s意为send（发送），输入sz时、意为服务器要发送文件，既从服务器发送文件到本地，
阅读全文
posted @ 2018-07-17 14:22
摘要：导出数据： mysql> select host,user from user where host<>'localhost' into outfile '/root/aa.txt';ERROR 1290 (HY000): The MySQL server is running with the -
阅读全文
posted @ 2018-07-12 10:12
摘要：语法 [root@VM_92_135_centos ~]# redis-cli -h localhost -p 6179 -a password [root@VM_92_135_centos ~]# redis-cli -p 6179 -a password Redis Info 命令 以一种易于理
阅读全文
posted @ 2018-07-11 17:27
摘要：zip拉链操作 def zip[U](other: org.apache.spark.rdd.RDD[U])(implicit evidence$10: scala.reflect.ClassTag[U]): org.apache.spark.rdd.RDD[(String, U)] scala>
阅读全文
posted @ 2018-07-11 14:46
摘要：sqlserver高级版本可以在 文件 目录生成数据库字典 早期的SQLSERVER版本可以通过SQLDOC生成html格式的数据库字典 MySQL可以通过sqlyog可以通过数据库字典：数据库菜单下，以html格式创建数据库架构
阅读全文
posted @ 2018-07-09 13:27
