kris12

摘要： 数据生命周期 项目系统架构 用户可视化：主要负责实现和用户的交互以及业务数据的展示，主体采用AngularJS2进行实现，部署在Apache服务上。 综合业务服务：主要实现JavaEE层面整体的业务逻辑，通过Spring进行构建，对接业务需求。部署在Tomcat上。 【数据存储部分】 业务数据库：项 阅读全文

摘要： 一、离线推荐服务 离线推荐服务是综合用户所有的历史数据，利用设定的离线统计算法和离线推荐算法周期性的进行结果统计与保存，计算的结果在一定时间周期内是固定不变的，变更的频率取决于算法调度的频率。 离线推荐服务主要计算一些可以预先进行统计和计算的指标，为实时计算和前端业务相应提供数据支撑。 离线推荐服务 阅读全文

摘要： 1. 数据结构与算法概念 是什么： 数据结构指的是“一组数据的存储结构”，算法指的是“操作数据的一组方法”。 数据结构是为算法服务的，算法是要作用在特定的数据结构上的。 为什么要用： 数据结构和算法解决的是如何更省、更快地存储和处理数据的问题，如何让代码运行得更快，如何让代码更省存储空间； 选用合适 阅读全文

摘要： 1. Flink运行时组件 作业管理器（JobManager） 任务的分配、调度管理以及checkpoint触发存盘操作。分析JAR包生产一个执行计划图（就可以知道有多少个任务task，需要多少个slot去执行，想RM去申请） 控制每一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的J 阅读全文

摘要： 1. 流处理技术的演变 在开源世界里，Apache Storm项目是流处理的先锋。Storm提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的水平，换句话说，它并不能保证exactly-once，即便是它能够保证的正确性级别，其开销也相当大。 在低延迟 阅读全文

摘要： 重新定义什么是推荐系统：它能做什么；它需要什么；它怎么做。对于第一个问题“它能做什么”，我的回答是：推荐系统可以把那些最终会在用户（User）和物品（Item）之间产生的连接提前找出来。这里简单说一下“连接”这个词，这个词含义非常广泛，凡是能够产生关系的都是连接，比如用户对物品做出了一个行为，或者用 阅读全文

摘要： Phoenix创建Hbase二级索引 官方文档 1. 配置Hbase支持Phoenix创建二级索引 1. 添加如下配置到Hbase的Hregionserver节点的hbase-site.xml <!-- phoenix regionserver 配置参数 --> <property> <name>h 阅读全文

摘要： Google 发表 GFS、MapReduce、BigTable 三篇论文，号称“三驾马车”，开启了大数据的时代。 GFS 对应的 Hadoop 分布式文件系统 HDFS，以及 MapReduce 对应的 Hadoop 分布式计算框架 MapReduce，BigTable 对应的 NoSQL 系统 阅读全文

摘要： 1. 与Hive的集成 Hive和Hbase在大数据架构中处在不同位置，Hive是一个构建在Hadoop基础之上的数据仓库，主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL， 通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduc 阅读全文

摘要： 3. 基于协同过滤的推荐算法 （用户和物品的关联） 协同过滤（Collaborative Filtering，CF）-- 用户和物品之间关联的用户行为数据 ①基于近邻的协同过滤 基于用户（User-CF） --用户画像 基于物品（Item-CF） -- 基于内容-特征工程 ②基于模型的协同过滤 奇异 阅读全文