2018 年 6月随笔档案 - duanxz

美团配送资金安全治理之对账体系建设

摘要：随着美团配送业务的飞速发展，单量已经达到千万级别，同时每天产生的资金额已经超过几千万，清结算系统在保证线上服务稳定可靠的前提下，如何系统化的保障资金安全是非常核心且重要的课题。总结起来，配送清结算业务主要有以下几个特点： 1. 场景多：包括专送、众包、快送、跑腿、外部单等多条业务线；订单补贴、活动发阅读全文

posted @ 2018-06-21 11:32 duanxz 阅读(1697) 评论(0) 推荐(0) 编辑

美的支付-对账系统实现

摘要：对账，可以发现渠道方与我方交易中的差异。根据差异的不同，再做具体的操作。随着美的支付接入的渠道增多，日交易量逐渐增大的情况下，人工对账已经不能满足财务的要求，系统对账提上日程待解决的问题 01 替代人工对账，解放人工对账的工作量，提升对账效率，实现系统自动化 02 对账差异可自动进行对应处理，输出阅读全文

posted @ 2018-06-20 16:14 duanxz 阅读(9771) 评论(6) 推荐(0) 编辑

redis之set应用实现对账(集合比较)功能

摘要：《redis使用之bitmap》《Redis实现布隆过滤器》《》现状：每日在进行系统之间的订单对账时，往往是这样的操作流程； 1.从外部系统拉取数据存入本地数据库； 2.查询本地订单数据集合localSet； 3.查询外部系统订单数据集合outerSet; 4.以本地localSet为基准，对阅读全文

posted @ 2018-06-20 14:39 duanxz 阅读(5881) 评论(5) 推荐(0) 编辑

Sqoop-1.4.6安装部署及详细使用介绍

摘要：之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用，综合比较后选择Sqoop1。 Sqoop1安装配置比较简单一、安装部署（1）、下载安装包下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar. 阅读全文

posted @ 2018-06-19 22:58 duanxz 阅读(5818) 评论(0) 推荐(0) 编辑

用sqoop将mysql的数据导入到hive表

摘要：一、先将mysql一张表的数据用sqoop导入到hdfs 1.1、先在mysql中准备一张测试用的表下面将 user_info表中的前100条数据导导出来只要id user_name和 age 这3个字段，数据存在hdfs 目录 /tmp/sqoop/user_info下。阅读全文

posted @ 2018-06-19 22:57 duanxz 阅读(378) 评论(0) 推荐(0) 编辑

如何修改CSV文件的分隔符

摘要：Excel转成CSV文件，在Windows下默认的列表分隔符是逗号（，）。在某些情况下，我们可能需要更改列表分隔符，如某个单元格内容包含逗号，而这可能导致使用它的程序出错，这样就需要更改列表分隔符；再比如Mac OS X下CSV文件的列表分隔符是分号（；）,而且还不方便修改，为了统一两个系统的列表阅读全文

posted @ 2018-06-19 19:30 duanxz 阅读(6960) 评论(0) 推荐(0) 编辑

hive命令的3种调用方式

摘要：hive-script.sql类似于script一样，直接写查询命令就行例如： [root@cloud4 shell]# vi hive_script3.sql select * from t1; select count(*) from t1; 不进入交互模式，执行一个hive script 这阅读全文

posted @ 2018-06-19 09:25 duanxz 阅读(522) 评论(0) 推荐(0) 编辑

Hive之示例一：基本操作与案例

摘要：1. 创建数据库，切换数据库 2. 创建管理表 emp.txt文件内容如下：在hadoop中查看数据，如下: 3. 创建外部表创建外部表时直接指定表位置上传数据文件到指定路径在hive中创建数据表指定location 4. 创建分区表注：分区字段不能与表中其他字段重复，否则报错 FAILE 阅读全文

posted @ 2018-06-17 00:26 duanxz 阅读(5454) 评论(0) 推荐(0) 编辑

Hive之一：hive2.1.1安装部署

摘要：一、Hive 运行模式与 Hadoop 类似，Hive 也有 3 种运行模式： 1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。阅读全文

posted @ 2018-06-16 22:52 duanxz 阅读(2544) 评论(0) 推荐(0) 编辑

HiveQL详解

摘要：Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，阅读全文

posted @ 2018-06-14 09:56 duanxz 阅读(3296) 评论(0) 推荐(0) 编辑

Hive数据类型及文本文件数据编码

摘要：本文参考Apache官网，更多内容请参考：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 1. 数值型 1. Integral Types (TINYINT, SMALLINT, INT/INTEGER, B 阅读全文

posted @ 2018-06-13 22:55 duanxz 阅读(1785) 评论(0) 推荐(0) 编辑

flume-示例2

摘要：flume-示例2 阅读全文

posted @ 2018-06-13 22:52 duanxz 阅读(177) 评论(0) 推荐(0) 编辑

Flume监听文件目录sink至hdfs配置

摘要：一：flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。，Flume架构分为三个部分源-Source，接收器-Sink，通道-Channel。二：配阅读全文

posted @ 2018-06-13 17:10 duanxz 阅读(1028) 评论(0) 推荐(0) 编辑

flume http source示例讲解

摘要：一、介绍 flume自带的Http Source可以通过Http Post接收事件。场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖项，或客户端代码倾向于通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Flume中。从客户端的阅读全文

posted @ 2018-06-13 15:09 duanxz 阅读(2068) 评论(0) 推荐(0) 编辑

flume=示例

摘要：flume=示例阅读全文

posted @ 2018-06-08 20:18 duanxz 阅读(179) 评论(0) 推荐(0) 编辑

flume-拦截器、channel选择器、sink组合sink处理器

摘要：1. Flume Interceptors Flume有能力修改/删除流程中的events。这是在拦截器（interceptor）的帮助下完成的。拦截器（Interceptors）是实现org.apache.flume.interceptor.Interceptor接口的类。一个intercepto 阅读全文

posted @ 2018-06-08 20:17 duanxz 阅读(840) 评论(0) 推荐(0) 编辑

flume-channel

摘要：1. Flume Channel Channels是events在agent上进行的存储库。Source添加events，Sink移除events。 Channel 是位于Source 和Sink 之间的缓冲区。因此，Channel 允许Source 和Sink 运作在不同的速率上。Channel 阅读全文

posted @ 2018-06-08 20:16 duanxz 阅读(1372) 评论(0) 推荐(0) 编辑

flume-sink

摘要：概述从Flume Agent移除数据并写入到另一个Agent或数据存储或一些其他存储系统的组件被称为sink。Sink不断的轮询channel中的事件且批量的移除它们。这些事件批量写入到存储或索引系统，或者被发送到另一个Flume Agent。Sink是完全事务性的。在从channel批量移除数据阅读全文

posted @ 2018-06-08 20:16 duanxz 阅读(1292) 评论(0) 推荐(0) 编辑

flume-source

摘要：1.1 Avro Source 监听Avro端口，从Avro client streams接收events。要求属性是粗体字。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。 !channels – !type – 类阅读全文

posted @ 2018-06-08 20:15 duanxz 阅读(919) 评论(0) 推荐(0) 编辑

flume 1.7在windows下的安装与运行

摘要：flume 1.7在windows下的安装与运行一、安装安装java，配置环境变量。安装flume，flume的官网http://flume.apache.org/，下载地址，下载后直接解压即可。二、运行创建配置文件：在解压后的文件apache-flume-1.6.0-bin/conf下创阅读全文

posted @ 2018-06-08 19:28 duanxz 阅读(628) 评论(0) 推荐(0) 编辑

flume原理

摘要：1、flume的外部结构：如上图所示，数据发生器（如：facebook,twitter）产生的数据被被单个的运行在数据发生器所在服务器上的agent所收集，之后数据收容器从各个agent上汇集数据并将采集到的数据存入到HDFS或者HBase中。 2. Flume 事件事件作为Flume内部数据传阅读全文

posted @ 2018-06-08 18:20 duanxz 阅读(1838) 评论(0) 推荐(0) 编辑

Hive格式各种格式下不同压缩算法的比较

摘要：原始Text格式的hive分区大小为119.2G。压缩算法 Text格式 Parquet格式 ORC RCFile 不压缩 119.2G 54.1G 20.0G 98G Snappy压缩 30.2 G 23.6 13.6 27.0G Gzip压缩 18.8 G 14.1 G 不支持 15.2G Z 阅读全文

posted @ 2018-06-08 16:31 duanxz 阅读(3812) 评论(0) 推荐(0) 编辑

Springboot配置使用ssl，使用https

摘要：SSL（Secure Sockets Layer 安全套接层）是为网络通信提供安全及数据完整性的一种安全协议，SSL在网络传输层对网络连接进行加密，SSL协议位于TCP/IP协议与各种应用层协议之间，为数据通信提供安全支持。SSL协议分为两层，SSL记录协议建立在TCP之上，为高层协议提供数据封装、阅读全文

posted @ 2018-06-08 14:30 duanxz 阅读(57864) 评论(1) 推荐(2) 编辑

flume使用之httpSource

摘要：flume自带很长多的source，如：exe、kafka...其中有一个非常简单的source——httpsource，使用httpSource，flume启动后会拉起一个web服务来监听指定的ip和port。常用的使用场景：对于有些应用环境中，不能部署Flume SDK及其依赖项，可以在代码中通阅读全文

posted @ 2018-06-08 14:22 duanxz 阅读(1681) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论