摘要：
Abstratct:描述了当前协同过滤算法两大技术alternating least square(ALS,最小二乘法)和gradient descent(GD)的确定：原文：Existing collaborative filtering techniques are implemented wi 阅读全文
摘要：
数据仓库 Hive是建立在Hadoop HDFS上的数据仓库基础架构 Hive可以用来进行数据提取转化加载（ETL） Hive定义了见到那的类似SQL查询语言，称为HQL它允许熟悉SQL的用户查询数据 Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的ma 阅读全文
摘要：
桥接模式就是将抽象部分与它的实现部分分离，使它们都可以独立地变化 Abstraction:抽象部分的接口。通常在这个抽象里面，要维护一个实现部分的对象引用，在抽象对象里面的方法，需要调用实现部分的对象来完成。这个对象里面的方法，通常都是跟具体的业务相关的方法。 RefinedAbstraction: 阅读全文
摘要：
单例模式 保证一个类仅有一个实例，并提供一个访问它的全局访问点。 读取配置文件的内容：现在要读取配置文件的内容，该如何实现呢？ 存在问题： 在系统运行期间，系统中会存在很多个AppConfig的实例对象，这回严重浪费系统资源 把上面的描述进一步抽象一下，问题就出来了：在一个系统运行期间，某个类只需要 阅读全文
摘要：
一、适配器模式 1.适配器模式的功能： 适配器模式的主要功能时进行转换匹配，目的时复用已有的功能，而不是来实现新的接口。 适配器里面也可以实现功能，称这种适配器为智能适配器 2.Adaptee和Target的关系 适配器中被适配的接口Adaptee和适配成为的接口Target时没有关联的 3.对象组 阅读全文
摘要：
在spark中运行./spark-shell --master YARN-client --num-executors 3 --executor-memory 1g是碰到如下的问题： biaoshi 表示资源不足，可能是内存不足或者core不足，于是就将1g改为512m，运行成功 以spark-cl 阅读全文
摘要：
本篇文章围绕下图展开： Hbase应用场景、原理与基本架构： Hbase是构建在HDFS上的分布式列存储系统，Hbase内部管理的文件全部存储在HDFS中； HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。 Hbase表的特点： 大：一个表可以有数十亿行，上百 阅读全文
摘要：
注：以下执行命令均在hadoop安装目录的bin目录下。 1、-help[cmd] 显示命令的帮助信息 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 3、-du(s) 显示目录中所有文件大小,或者当只指定一个文件时，显示此文件的大小 4、-count[-q] 显示当前目录下的所有文 阅读全文
摘要：
MapReduce 数字统计例子WordCount 在单机环境上运行WordCount.java程序 简单配置为：/etc/hosts: Core-site.xml 在这两个配置文件下运行WordCount 程序，出现如下的错误： 错误中有一句：due to :Call From YARN001/1 阅读全文
摘要：
Hadoop 单机配置文件详解Hadoop配置单机需要修改core-site.xml、fairscheduler.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml这几个文件,core-site.xml是全局配置，hdfs-si 阅读全文