03 2017 档案
摘要：作为一个计算机专业的科班，不会玩Linux怎么能行呢？玩Linux用可视化界面显得太low了，为了效（zhuang）率（bi），当然要用什么都用指令啊，可是指令太多了啊，现在就把平时遇到的高频的指令做一个小结吧。 1. 常用命令 1.进入到用户根目录cd ~ 或 cd 2.查看当前所在目录pwd 3
阅读全文
摘要：1. 单节点架构 2. 集群架构 3. 集群+分布式架构 4. 淘宝技术的演变 马总在2003年4月7日秘密叫来阿里巴巴的十位员工，来到杭州一个隐秘的毛坯房，要求他们在一个月左右的时间内做出一个C2C网站。结果当然还是直接买的快，一个基于LAMP架构的网站，原名是PHPAuction，老美开发的一个
阅读全文
摘要：VMware虚拟机三种联网方法及原理 一、Brigde——桥接：默认使用VMnet0 1、原理： Bridge 桥"就是一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在"桥"上，运行着程序，让局域网A中的所有数据包原封不动的流入B，反之亦然。这样，局域网A和B就无缝的在链路层连接起来了，
阅读全文
摘要：这个项目是流量经营项目，通过Hadoop的离线数据项目。 运营商通过HTTP日志，分析用户的上网行为数据，进行行为轨迹的增强。 HTTP数据格式为： 流程： 系统架构： 技术选型： 这里只针对其中的一个功能进行说明： 其中规则库是人工填充的，实例库是采用机器学习自动生成的，形式都是<url，info
阅读全文
摘要：参考官方文档：http://flume.apache.org/FlumeUserGuide.html 1. 概述 1、Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2、Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbas
阅读全文
摘要：Apache，指的是Apache软件基金会下的一个项目——Apache HTTP Server Project；Nginx同样也是一款开源的HTTP服务器软件（当然它也可以作为邮件代理服务器、通用的TCP代理服务器）。 HTTP服务器本质上也是一种应用程序——它通常运行在服务器之上，绑定服务器的IP
阅读全文
摘要：1. 相关概念 1. kafka是一个分布式的消息缓存系统2. kafka集群中的服务器都叫做broker3. kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4. kafka中不同业务系统的消息可
阅读全文
摘要：WordPress插件安装方法有几种?WordPress是一种使用PHP语言开发的博客平台，有些用户不知道怎么安装WordPress插件和主题的，所以今天小编就为大家介绍几种WordPress插件安装的方法，用户们可以根据自身情况选择性的安装，具体什么方法请看下文! WordPress安装插件/主题
阅读全文
摘要：转自：http://blog.csdn.net/lkxlaz/article/details/54909397 今天抢代金券，在网上看到的，虽然脚本很easy，但也mark一下吧。 1. 浏览器打开抢代金券的网页，当前的网页地址为https://www.qcloud.com/act/campus 。
阅读全文
摘要：突然，想搭建一个个人博客，所以就在网上搜了搜相关内容，好多人推荐wordpress，那么就打算光荣地采用wordpress了。以下是安装过程中遇到的所有的坑，现在总结如下，希望给安装wordpress的人一点参考。 推荐阿里云的建站步骤详解：阿里云wordpress教程 1. 安装步骤详解 环境 服
阅读全文
摘要：很多朋友下载本站提供的Mac软件资源，安装提示“xxx软件已损坏，打不开，您应该将它移到废纸篓”的提示，其实并不是软件本身有问题，而是Mac系统的一个安全机制问题，按照如下方法操作，即可打开并安装本站的Mac软件资源。 1、首先需要点击左上角苹果标志打开系统偏好设置，选择安全性与隐私； 2、然后点击
阅读全文
摘要：参考百度经验：http://jingyan.baidu.com/article/b907e627b0e3b846e7891cc9.html 首先看报错窗口。 首先看报错窗口。 经查阅，错误原因是：本地IP（xxx.xxx.xxx.xxx）没有访问远程数据库的权限。 于是下面开启本地IP（xxx.xx
阅读全文
摘要：1、添加用户，首先用adduser命令添加一个普通用户，命令如下： #adduser tommy //添加一个名为tommy的用户#passwd tommy //修改密码Changing password for user tommy.New UNIX password: //在这里输入新密码Ret
阅读全文
摘要：需求： spout输出一些手机品牌小写名称，第一个bolt将手机名称转成大写，第二个bolt在手机名称的后面再追加上时间。 项目目录： 导入相关的jar包。 RandomWordSpout.java： UpperBolt.java： SuffixBolt.java： TopoMain.java： 执
阅读全文
摘要：1、安装一个zookeeper集群 2、上传storm的安装包，解压 3、修改配置文件conf/storm.yaml #所使用的zookeeper集群主机storm.zookeeper.servers:- "weekend01"- "weekend02"- "weekend03" #nimbus所在
阅读全文
摘要：1. 简介 流式计算的历史 早在7、8年前诸如UC伯克利、斯坦福等大学就开始了对流式数据处理的研究，但是由于更多的关注于金融行业的业务场景或者互联网流量监控的业务场景，以及当时互联网数据场景的限制，造成了研究多是基于对传统数据库处理的流式化，对流式框架本身的研究偏少。目前这样的研究逐渐没有了声音，工
阅读全文
摘要：1.1. 配置 HBaseConfiguration 包：org.apache.hadoop.hbase.HBaseConfiguration 作用：通过此类可以对HBase进行配置 用法实例： Configuration config = HBaseConfiguration.create();
阅读全文
摘要：1.HBase的配置 还是以前配置的集群，见：http://www.cnblogs.com/DarrenChan/p/6493373.html 我们约定：weekend03和weekend04放HMaster，weekend05、weekend06和weekend07放HRegionServer 1
阅读全文
摘要：1.什么是HBase HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理H
阅读全文
摘要：不知不觉，已经到了2017年3月18号，又一次感觉到了时间如同白驹过隙般猝不及防。开学已经一个多月了，来国防科大读研也已经半年多了，可这段时间我究竟有了哪些提高呢？ 虽然我的职业规划还算清晰，目标也蛮明确，可是却总是一次次否定自己，即便自己已经付出很大努力。我一次次告诉自己，不要和别人比，跟自己比就
阅读全文
摘要：Hive中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符 （”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。由于在加载数据
阅读全文
摘要：需求： 有向图中任意给定两个节点，输出这两个节点间所有可能经过的路径，并且进行打印。 代码如下：（这里以42个节点为例） 定义节点类： 定义图类： 搜索并打印路径算法类： 测试类： 结果如下： 第0个节点: 0-0：0 0-1：0 0-2：0 0-3：0 0-4：0 0-5：0 0-6：0 0-7：
阅读全文
摘要：一般来说著名的linux系统基本上分两大类： 1.RedHat系列：Redhat、Centos、Fedora等 2.Debian系列：Debian、Ubuntu等 RedHat 系列 1 常见的安装包格式 rpm包,安装rpm包的命令是“rpm -参数” 2 包管理工具 yum 3 支持tar包 D
阅读全文
摘要：BlockingQueue是java.util.concurrent下的主要用来控制线程同步的工具。 主要的方法是：put、take一对阻塞存取；add、poll一对非阻塞存取。 插入： 1) add(anObject):把anObject加到BlockingQueue里,即如果BlockingQu
阅读全文
摘要：关于线程池的介绍，请看上一篇博客：http://www.cnblogs.com/DarrenChan/p/5774921.html 1. 线程池的5中创建方式 1） Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务是顺序执行， 代码： Executors.n
阅读全文
摘要：1.lock和synchronized的区别 1）Lock不是Java语言内置的，synchronized是Java语言的关键字，因此是内置特性。Lock是一个类，通过这个类可以实现同步访问； 2）Lock和synchronized有一点非常大的不同，采用synchronized不需要用户去手动释放
阅读全文
摘要：1.什么是Hive Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive 定义了简单的类SQL查询语言，称为QL，它允许熟悉 SQL 的用户查询数据。同时，这个
阅读全文
摘要：安装MySQL主要有两种方法：一种是通过源码自行编译安装，这种适合高级用户定制MySQL的特性，这里不做说明；另一种是通过编译过的二进制文件进行安装。二进制文件安装的方法又分为两种：一种是不针对特定平台的通用安装方法，使用的二进制文件是后缀为.tar.gz的压缩文件；第二种是使用RPM或其他包进行安
阅读全文
摘要：1.什么是弱引用？ Java中的弱引用具体指的是java.lang.ref.WeakReference<T>类，我们首先来看一下官方文档对它做的说明： 弱引用对象的存在不会阻止它所指向的对象变被垃圾回收器回收。弱引用最常见的用途是实现规范映射(canonicalizing mappings，比如哈希
阅读全文
摘要：生活是什么？也许这个命题于我现在这个懵懂的年纪来说，还为时尚早；或者说，现在的我对于生活的理解还仅仅是管中窥豹，难以全面。但毕竟也算二十余载的光阴浸润，留在内心的有对生活触发的感动，也有对生活无端的抱怨。一言以蔽之，总有一些迄今为止对生活的感悟，伴随着我的成长，不断累积，历久弥新。 正如同所有人把生
阅读全文
摘要：一、什么是反射？ 在运行状态中，对于任意一个类，都能够获取到这个类的所有属性和方法，对于任意一个对象，都能够调用它的任意一个方法和属性(包括私有的方法和属性)，这种动态获取的信息以及动态调用对象的方法的功能就称为java语言的反射机制。通俗点讲，通过反射，该类对我们来说是完全透明的，想要获取任何东西
阅读全文
摘要：1. 前提 部署全分布式环境，我们肯定不能在一台服务器上了，这里我用了7台服务器，在VMware上开了7个虚拟机，如下图所示： 我基本配置了一晚上才搞定，第一次配置一般都有错，这时候不妨去到hadoop的logs文件夹下查看日志，如果实在找不出来，索性把所有hadoop文件删掉，重新安装。 hado
阅读全文
摘要：传统的HDFS机制如下图所示： 也就是存在一个NameNode，一个SecondaryNameNode，然后若干个DataNode。这样的机制虽然元数据的可靠性得到了保证（靠edits，fsimage，meta.data等文件），但是服务的可用性并不高，因为一旦NameNode出现问题，那么整个系统
阅读全文
摘要：1.Zookeeper 作为 Hadoop 项目中的一个子项目，是 Hadoop 集群管理的一个必不可少的模块，它主要用来控制集群中的数据，如它管理 Hadoop 集群中的 NameNode，还有 Hbase 中 Master Election、Server 之间状态同步等。Zoopkeeper 提
阅读全文