青衫仗剑 - 博客园

2018年6月8日

摘要：转自：https://www.cnblogs.com/qingyunzong/p/8715925.html 一、CLI连接进入到 bin 目录下，直接输入命令： [hadoop@hadoop3 ~]$ hive SLF4J: Class path contains multiple SLF4J b 阅读全文

posted @ 2018-06-08 18:01 青衫仗剑阅读(1202) 评论(0) 推荐(0) 编辑

Apache Hive （三）Hive元数据信息对应MySQL数据库表

摘要：转自：https://www.cnblogs.com/qingyunzong/p/8710356.html 转自：https://www.cnblogs.com/qingyunzong/p/8710356.html 概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据阅读全文

posted @ 2018-06-08 16:56 青衫仗剑阅读(405) 评论(0) 推荐(0) 编辑

Apache Hive （二）Hive安装

摘要：转自：https://www.cnblogs.com/qingyunzong/p/8708057.html 转自：https://www.cnblogs.com/qingyunzong/p/8708057.html Hive的下载下载地址http://mirrors.hust.edu.cn/apa 阅读全文

posted @ 2018-06-08 10:55 青衫仗剑阅读(280) 评论(0) 推荐(0) 编辑

Apache Hive （一）Hive初识

摘要：转自：https://www.cnblogs.com/qingyunzong/p/8707885.html 转自：https://www.cnblogs.com/qingyunzong/p/8707885.html Hive 简介什么是Hive 1、Hive 由 Facebook 实现并开源 2、阅读全文

posted @ 2018-06-08 10:54 青衫仗剑阅读(405) 评论(0) 推荐(0) 编辑

2018年6月3日

C#使用NPOI导出excel设置单元格背景颜色

摘要：在设置FillForegroundColor的同时需要设置FillPattern。 FillForegroundColor接收的事一个short类型的值，每个颜色对应的值可以在网上搜一下找到。阅读全文

posted @ 2018-06-03 15:24 青衫仗剑阅读(4252) 评论(0) 推荐(0) 编辑

2018年4月7日

Spark之 Spark Streaming整合kafka（并演示reduceByKeyAndWindow、updateStateByKey算子使用）

摘要： Kafka0.8版本基于receiver接受器去接受kafka topic中的数据（并演示reduceByKeyAndWindow的使用）依赖代码 Kafka1.0版本整合Kafka（并演示updateStateByKey的使用）依赖代码 kafka2streaming的java实现版本阅读全文

posted @ 2018-04-07 20:21 青衫仗剑阅读(1292) 评论(0) 推荐(0) 编辑

2018年4月5日

Spark之 Spark Streaming流式处理

摘要： SparkStreaming Spark Streaming类似于Apache Storm，用于流式数据的处理。Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字阅读全文

posted @ 2018-04-05 18:55 青衫仗剑阅读(3760) 评论(0) 推荐(0) 编辑

2018年3月22日

Apache Flume的介绍安装及简单案例

摘要：概述 Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件。Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的阅读全文

posted @ 2018-03-22 16:17 青衫仗剑阅读(411) 评论(0) 推荐(0) 编辑

2018年3月15日

Kafka如何保证数据不丢失

摘要： Kafka如何保证数据不丢失 1.生产者数据的不丢失 kafka的ack机制：在kafka发送数据的时候，每次发送消息都会有一个确认反馈机制，确保消息正常的能够被收到，其中状态有0,1，-1。如果是同步模式：ack机制能够保证数据的不丢失，如果ack设置为0，风险很大，一般不建议设置为0。即使设置阅读全文

posted @ 2018-03-15 20:03 青衫仗剑阅读(5350) 评论(0) 推荐(0) 编辑

2018年3月13日

Kafka总结的一张图

摘要：阅读全文

posted @ 2018-03-13 14:32 青衫仗剑阅读(502) 评论(0) 推荐(1) 编辑

剑来

公告