随笔分类 - Big Data Tips
大数据技术相关的笔记
摘要:SCALA连接数据库批量插入: scala> import java.sql.DriverManager scala> var url = "jdbc:mysql://localhost:3306/mydb?useUnicode=true&characterEncoding=utf8" scala>
阅读全文
摘要:GITHUB : https://github.com/nscala-time/nscala-timeMAVEN : (注意选对scala版本) com.github.nscala-time nscala-time_2.10 2.6.0代码示例:记得 import com.gith...
阅读全文
摘要:开发中遇到需求:合并两个Map集合对象(将两个对应KEY的值累加)先说解决方案:( map1 /: map2 ) { case (map, (k,v)) => map + ( k -> (v + map.getOrElse(k, 0)) ) }这特么什么鬼 (╯‵□′)╯""┻━┻☆))>○sum+...
阅读全文
摘要:spark-shell中可以直接编写SQL语句从数据源中加载数据。可以利用scala语言中的多行字符串(三个引号)让SQL语句结构清晰更易于阅读。示例:sqlContext.sql(""" SELECT user_no,oper_code FROM cui.operation_data...
阅读全文
摘要:类似Mysql的数据库概念:hive> CREATE DATABASE cui;hive> USE cui;创建表:CREATE TABLE test( first STRING, second STRING)默认记录和字段分隔符:\n 每行一条记录^A 分隔列(八进制 \001)^B 分隔ARRA...
阅读全文