摘要：
在MapReducer插入mysql 遇到了 Incorrect string value: '\xF0\x9F\x98\xAD",...' for column 'commentContent' at row 1 的问题 因为数据中存在表情符号 处理办法： 先修改 mysql 字段编码 在修改数据 阅读全文
摘要：
指定定时任务 sh手动执行成功 ，contab执行失败 在脚本中添加 source /ect/profile 刷新一下环境变量 阅读全文
摘要：
第三种 打依赖包 将依赖其他jar的包都打进去 maven-assembly-plugin 2.4 src/main/assembly/src.xml ... 阅读全文
摘要：
select col1,col2,concat_ws(',',collect_set(col3)) from tmp_bsf_test group by col1,col2; create table tmp_bsf_test1 ( col1 string, col2 string, col3 string ) row format delimited fields terminated ... 阅读全文
摘要：
数据结果 阅读全文
摘要：
dataframe增加index主键列 阅读全文
摘要：
hbase特点及简介： hbase源自于谷歌的三大论文之一 GFS -- hdfs MapReduce - MR BigTable - hbase hbase在以Hadoop为基础的生态圈中的地位 hbase和Hadoop的hdfs结合使用，构建在hdfs上的数据库（hbase为hdfs上的海量的结构化或非结构数据构建了层层的索引） 为存储在hdfs上的海量... 阅读全文
摘要：
public class LinklistReverse { //定义类节点类 封装节点信息 static class Node { private int value; private Node next; public Node(int value) { this.value = value; ... 阅读全文
摘要：
1.实时插入mysql时遇到的问题，使用的updateStaeBykey有状态的算子 必须设置checkpoint 如果报错直接删掉checkpoint 在创建的时候自己保存偏移量即可 再次启动时读取正确偏移量就行了 管他checkpoint 无关的事了 实时插入时有个问题是怎么进行mysql的数据 阅读全文
摘要：
关于hadoop一些自定义输出 code>OutputFormat describes the output-specification for a * Map-Reduce job. 首先继承outputFormat这个抽象类 Map-Reduce job的输出规范 实现他的方法： RecordWriter getRecordWriter 在方法内可以进行数据库连接操作 这里需要一个返回一... 阅读全文