LestatZ

摘要： 文章目录 什么是MongoDB 准备工作 安装Homebrew 安装概述 使用Homebrew安装和运行MongoDB 从MongoDB官网下载并手动安装 创建用户&开启用户验证 文章目录 什么是MongoDB 准备工作 安装Homebrew 安装概述 使用Homebrew安装和运行MongoDB 阅读全文

摘要： Dependent Jobs 具有依赖的作业 在Autosys中，作业(Job)可以取决于其他作业的完成结果。 具有依赖的作业和简单作业之间的唯一区别是它依赖于另一个或多个作业。 我们可以通过condition属性来指定作业依赖关系。我们还可以在作业的依赖关系中添加时间限制，即回看条件(look-b 阅读全文

摘要： Hive编译器 文章目录 Hive编译器 编译器主要部分 Hive SQL的编译过程 文章目录 Hive编译器 编译器主要部分 Hive SQL的编译过程 Hive编译器 编译器主要部分 Hive SQL的编译过程 Hive编译器 编译器主要部分 Hive SQL的编译过程 编译器主要部分 Hive 阅读全文

摘要： 简单总结一下pymongo中与index操作相关一些函数, 常用的有：create_indexdrop_indexindex_information其中最主要的是create_index, 可以用它来为mongo的collection建立索引。以下操作一些简... 阅读全文

摘要： Hive数据模型 Hive中的数据模型主要分为： 表，这些类似于关系数据库中的表。表可以过滤，投影，连接和联合。此外，表的所有数据都存储在HDFS的目录中。 Hive还支持外部表的概念，其中通过向表创建DDL提供适当的位置，可以在HDFS中的现有文件或目录上创建表。 分区，每个表可以有一个或多个分区 阅读全文

摘要： PigLatin中没有类似于if-else的控制结构。如果需要完成类似的控制结构，则需要使用embedded pig来完成。例如我们可以在Python中嵌入Pig Latin语句和Pig命令（请确保Jython jar包含在类路径中）。以下例子为判断pig作... 阅读全文

摘要： 问题描述 原来pig作业中的连接器只指定了一个primary host，为了防止mongo服务器主从切换时能够继续使用，于是想利用replica set的特性，将多个host传给mongo连接器：例如 ‘mongodb://user:passwd@host1:port1,host2:port2/’ 阅读全文

摘要： 文章目录 问题描述 解决办法 文章目录 问题描述 解决办法 问题描述 解决办法 问题描述 解决办法 问题描述 解决办法 问题描述 项目中有一个作业是通过pig来利用hive表的数据来更新mongo表的数据，简而言之就是Hive to Mongo use MongoUpdateStorage. 这种方 阅读全文

摘要： Hive架构图 Hive主要组件 UI 用户界面 用户通过用户界面（CLI或则Web UI）向系统提交查询或者其他操作 Driver 驱动器 接受查询的组件，提供了JDBC/ODBC接口。 Compiler 编译器 解析查询的组件，对不同的查询块或查询语句进行语义解析，并配合表和分区的元数据生成执行 阅读全文

摘要： start_mins 的最小间隔是15分钟 如果版本允许(11.3.x)，推荐使用FileTrigger代替FileWatcher condition的长度上限是4096个字符 要配置复杂的条件condition，请将一系列条件和AND或OR逻辑运算符组合使用。 可以使用管道符号（|）代替OR，（＆ 阅读全文