生心无住

2019年3月5日

摘要： package com.lala.lala.pipe.dbinfo import org.apache.kudu.client.KuduClient import com.lala.lala.common.query.option.KuduOptions import collection.JavaConverters._ import scala.util.Try class KuduS... 阅读全文

posted @ 2019-03-05 22:03 生心无住阅读(2660) 评论(0) 推荐(0) 编辑

hdfs 列出文件

摘要： package com.lala.lala.pipe.dbinfo import java.io.{ByteArrayOutputStream, PrintWriter} import com.alibaba.fastjson.JSON import com.alibaba.fastjson.serializer.SerializerFeature import com.lala.lala.... 阅读全文

posted @ 2019-03-05 22:01 生心无住阅读(353) 评论(0) 推荐(0) 编辑

hbase 查看元数据

摘要： package com.jason.lala.pipe.dbinfo import com.jason.lala.common.query.option.HbaseOptions import org.apache.hadoop.hbase.{CellUtil, HBaseConfiguration, TableName} import org.apache.hadoop.hbase.clie... 阅读全文

posted @ 2019-03-05 21:57 生心无住阅读(3056) 评论(0) 推荐(0) 编辑

jdbc 操作数据库

摘要： import java.sql.DriverManager val driverName = "com.cloudera.impala.jdbc41.Driver" val url = "jdbc:impala://host:21050;AuthMech=1;KrbRealm=FEIYUE.COM;KrbHostFQDN=host;KrbServiceName=impal... 阅读全文

posted @ 2019-03-05 21:51 生心无住阅读(153) 评论(0) 推荐(0) 编辑

2019年3月4日

impala-kudu

摘要： kkudu 提供了自己的api来对kudu进行操作，但是有的开发人员习惯用jdbc来操作数据库，这里我们采用impala 来实现该功能， impala 安装积配置，请百度，我们的集群采用kerberos认证。 1.jdbc:impala 连接（impala 官方建议连接方式）官网下载clouder 阅读全文

posted @ 2019-03-04 16:46 生心无住阅读(812) 评论(0) 推荐(0) 编辑

2019年2月27日

dataframe 基本操作

摘要： package com.jason.example import org.apache.spark.sql.functions.broadcast class DFTest extends SparkInstance { import spark.implicits._ val df = Seq( ("jason", 1, "理想",0), (null, 2, "... 阅读全文

posted @ 2019-02-27 20:56 生心无住阅读(1539) 评论(0) 推荐(0) 编辑

rdd 基本操作

摘要： package com.jason.example import org.apache.spark.rdd.RDD class RddTest extends SparkInstance { val sc = spark.sparkContext val rdd = sc.parallelize(1 to 10) val rdd2 = sc.parallelize(9 to 15... 阅读全文

posted @ 2019-02-27 20:55 生心无住阅读(576) 评论(0) 推荐(0) 编辑

2019年2月25日

oracle 基本操作

摘要： 1，创建表空间 create tablespace data_test datafile '/data1/oracle/oradata/orcl/data_1.dbf' size 2000M; 2.建用户 create user study identified by study default t 阅读全文

posted @ 2019-02-25 19:10 生心无住阅读(329) 评论(0) 推荐(0) 编辑

2019年2月23日

centos 安装 oracle11r2

摘要：因为要测试spark链接oracle，所以需要再服务器装oracle 1.下载oracle，如果自己下载需要注册，比较麻烦，可以直接用如下命令下载因为zip比较大，建议nohup 后台下载 nohup wget https://download.oracle.com/otn/linux/orac 阅读全文

posted @ 2019-02-23 21:14 生心无住阅读(683) 评论(0) 推荐(0) 编辑

2019年2月15日

mysql 基本操作四

摘要： 1.临时表当绘画结束时，临时表会自动销毁，无法用show tables 查看临时表。阅读全文

posted @ 2019-02-15 12:29 生心无住阅读(134) 评论(0) 推荐(0) 编辑

公告