07 2020 档案

Sqoop 使用shell命令的各种参数的配置及使用方法
摘要：1、Sqoop简介 Sqoop将用户编写的sqoop命令翻译为MR程序，MR程序读取关系型数据库中的数据，写入到HDFS或读取HDFS上的数据，写入到关系型数据库 在MR程序中如果要读取关系型数据中的数据，必须制定输入格式为DBInputformat 在MR程序中如果要向关系型数据吸入数据，必须制定 阅读全文
posted @ 2020-07-31 16:30 hyunbar 阅读(1289) 评论(0) 推荐(0) 编辑
hive笔记
摘要：1、显示数据库，列名 Apache <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.current.db</name> <val 阅读全文
posted @ 2020-07-30 19:02 hyunbar 阅读(117) 评论(0) 推荐(0) 编辑
HBase集成hive
摘要：一、为了创建一个新的由Hive管理的HBase表，请使用CREATE TABLE CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler 阅读全文
posted @ 2020-07-27 11:25 hyunbar 阅读(217) 评论(0) 推荐(0) 编辑
kafka工作流程及文件存储机制
摘要：1、Kafka工作流程 kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的 topic是逻辑上的概念，而partition是物理上的概念，每个partition对应一个log文件，该log文件中存储的就是producer生产的数据。producer生产的数 阅读全文
posted @ 2020-07-25 11:16 hyunbar 阅读(495) 评论(0) 推荐(0) 编辑
hive函数
摘要：1、日期函数 1.1 date_add 指定日期n天之后 用法：date_add(date('2018-09-09'),10) 参数类型分别为date和int，返回date类型 select date_add(date('2018-09-09'),10) -- 返回：2018-09-19 1.2 a 阅读全文
posted @ 2020-07-22 15:59 hyunbar 阅读(470) 评论(0) 推荐(0) 编辑
hadoop、yarn时间与集群时间不同
摘要：cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env 阅读全文
posted @ 2020-07-10 18:18 hyunbar 阅读(567) 评论(0) 推荐(0) 编辑
Mysql 时间字段（加上或者减去一段时间）
摘要：Mysql时间加减函数为date_add（）、date_sub（） 定义和用法 DATE_ADD() 函数向日期添加指定的时间间隔。DATE_SUB() 函数向日期减少指定的时间间隔。 语法 DATE_ADD(date,INTERVAL expr type)DATE_SUB(date,INTERVA 阅读全文
posted @ 2020-07-09 09:13 hyunbar 阅读(6844) 评论(0) 推荐(1) 编辑
awk数组与语法
摘要：1、awk数组 1.1 数组结构 1.2 数组分类 索引数组：以数字为下标 关联数组：以字符串为下标 1.3 awk关联数组 现有如下文本，格式如下：即左边是随机字母，右边是随机数字, 即将相同的字母后面的数字加在一起，按字母的顺序输出 以$1为下标，创建数组a[$1]=a[$1]+$2 或者（a[ 阅读全文
posted @ 2020-07-07 14:43 hyunbar 阅读(450) 评论(0) 推荐(0) 编辑
awk模块、变量、执行
摘要：1、BEGIN模块 BEGIN模块在awk读取文件之前就执行 BEGIN模式常常被用来修改内置变量ORS、RS、FS、OFS等值 2、awk内置变量（预定义变量） 变量名属性 $0 当前记录，一整行 $1,$2,$3....$a 当前记录的第n个区域，区域间由FS分隔。 FS 输入区域分隔符，默认是 阅读全文
posted @ 2020-07-06 18:00 hyunbar 阅读(219) 评论(0) 推荐(0) 编辑
awk简介与表达式实例
摘要：1、awk概述 awk不仅仅是Linux系统中的一个命令，而且是一种编程语言 它可以用来处理数据和生成报告（excel） 处理的数据可以是一个或多个文件 可以使直接来自标准输入、也可以是通过管道获取标准输入 awk可以在命令行上直接编辑命令进行操作，也可以写成awk程序来进行更为复杂的操作 2、aw 阅读全文
posted @ 2020-07-06 17:25 hyunbar 阅读(548) 评论(0) 推荐(0) 编辑
图数据库
摘要：1、为什么需要图数据库 我们假设这样一种特殊的查询场景：找出开发商是XXX，小区绿化率大于30%，周边200米有大型超市，500米有地铁，1000米有三甲医院，2000米有升学率超过60%的高中，房价在800W以内，最近被经纪人带看次数最多的房子。 这可能是一个客户想要的房子，但是各位觉得有哪个产品 阅读全文
posted @ 2020-07-03 11:35 hyunbar 阅读(1545) 评论(0) 推荐(0) 编辑
推荐几款优秀的开源博客系统
摘要：1.OneBlog 一个简洁美观、功能强大并且自适应的Java博客。 项目地址：https://gitee.com/yadong.zhang/DBlog 2.halo Halo 可能是最好的 Java 博客系统。 项目路径：https://github.com/halo-dev/halo 3.mbl 阅读全文
posted @ 2020-07-02 16:15 hyunbar 阅读(7979) 评论(0) 推荐(0) 编辑
红黑树
摘要：红黑树（Red Black Tree）是一种自平衡的二叉搜索树（Self-balancing Binary Search Tree）。以前也叫平衡二叉B树（Symmetric Binary B-Tree） 1、前言 树的结构 1.1 平衡二叉搜索树 平衡二叉搜索树（Balanced Binary S 阅读全文
posted @ 2020-07-02 14:21 hyunbar 阅读(202) 评论(0) 推荐(0) 编辑
用户画像基础概念
摘要：1、何为用户画像 用户画像是指根据用户的属性、偏好、行为、生活习惯、等信息而抽象出来的标签化用户模型。 通俗讲就是给用户打标签，而标签是通过对用户信息分析而来的高度提炼的特征标识 通过打标签可以利用一些高度概括、容易理解的特征来描述用户，可以让人更容易理解用户，并且可以方便计算机处理 用户画像是对现 阅读全文
posted @ 2020-07-01 11:19 hyunbar 阅读(1933) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示