摘要： load data报错 原因：原始数据含有 中文\中文 这样的带斜线的字符串。 解决方案：导出的时候替换 replace(d.role_name,'\\','、' )，这样导入时候就不用处理了 阅读全文

摘要： UTF-8编码有可能是两个、三个、四个字节。Emoji表情是4个字节，而MySQL的utf8编码最多3个字节，所以数据插不进去。解决方案：将编码从utf8转换成utf8mb4。 阅读全文

摘要： USE VECTORIZATION 矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。可以通过设置 开启来。 具体请参考： [1] https://cwiki.apache.org/conflu 阅读全文

摘要： create table if not exists test_orc( name string, age int, address string ) partitioned by (dt string)STORED AS ORC; set hive.execution.engine=tez; se 阅读全文

摘要： 多行转字符串 这个比较简单，用||或concat函数可以实现 SQL Code 12 select concat(id,username) str from app_userselect id||username str from app_user 12 select concat(id,usern 阅读全文

摘要： select lengthb('1397256'), dump('1397256') from dual; select ascii('') from dual; select replace('13', chr(43700), '') from dual; 阅读全文

摘要： md5 DES加密 DES解密 阅读全文

摘要： 启用MapReduce Job是会消耗系统开销的。对于这个问题，从Hive0.10.0版本开始，对于简单的不需要聚合的类似SELECT <col> from <table> LIMIT n语句，不需要起MapReduce job，直接通过Fetch task获取数据 阅读全文

摘要： import tensorflow as tf a = tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[2,3],name='a') b = tf.constant([1.0,2.0,3.0,4.0,5.0,6.0],shape=[3,2],name='b') c = tf.matmul(a,b) sess = tf.Session(confi... 阅读全文

摘要： 生成日期列表 范例：生成日期和补全某天充值数据 阅读全文