摘要: Class 类是在Java语言中定义一个特定类的实现。一个类的定义包含成员变量,成员方法,还有这个类实现的接口,以及这个类的父类。Class类的对象用于表示当前运行的 Java 应用程序中的类和接口。 比如:每个数组均属于一个 Class 类对象,所有具有相同元素类型和维数的数组共享一个Class 对象。基本的 Java 类型(boolean, byte, char, short,in... 阅读全文
posted @ 2016-07-07 10:55 一人浅醉- 阅读(45397) 评论(1) 推荐(8) 编辑
摘要: 本人在研究生阶段做JavaWeb开发时,当把项目发布到Tomcat上运行时,曾遇到过一个神奇的问题,这个问题由“CLassCastException”异常引起,当然这个异常很常见,其实我要说的神奇之处在于------我明明使用的是这个类本身new的对象,然后编译没有问题,但运行时却抛出这个异常。类似这样:MyClass mc=new MyClass(),异常就发生在这一句,是不是很奇怪了。为什么会... 阅读全文
posted @ 2016-07-07 10:51 一人浅醉- 阅读(1500) 评论(0) 推荐(2) 编辑
摘要: rm -rf /tmp eval `ssh-agent` ssh-add atnodes 'cat /server/tts/logs/tts.log | grep "create order from"| grep type=13 ' l-ttsn[1-10].f.cn1 阅读全文
posted @ 2016-07-07 10:50 一人浅醉- 阅读(209) 评论(0) 推荐(0) 编辑
摘要: sudo find /home/q/www/*/conf/server.xml|xargs sudo grep -ri "7777" –l 参考: http://man.linuxde.net/ 阅读全文
posted @ 2016-07-07 10:49 一人浅醉- 阅读(246) 评论(0) 推荐(0) 编辑
摘要: sort +awk+uniq 统计文件中出现次数最多的前10个单词实例cat logt.log|sort -s -t '-' -k1n |awk '{print $1;}'|uniq -c|sort -k1nr|head -100 使用linux命令或者shell实现:文件words存放英文单词,格式为每行一个英文单词(单词可以重复),统计这个文件中出现次数最多的前10个单词。 cat words... 阅读全文
posted @ 2016-07-07 10:40 一人浅醉- 阅读(4944) 评论(1) 推荐(0) 编辑
摘要: 需要学习和掌握的知识 1. 后端 1.1 服务器 1.1.1 linux命令 1.1.2 nginx 1.1.3 jetty 1.1.4 docker 1.1.5 ElasticSearch 1.2 大数据框架 1.2.1 hadoop 1.2.2 Yarn 1.2.3 flume 1.2.4 St 阅读全文
posted @ 2016-07-06 19:55 一人浅醉- 阅读(182) 评论(0) 推荐(0) 编辑
摘要: 目前国内各大门户网站已经部署了Nginx,如新浪、网易、腾讯等;国内几个重要的视频分享网站也部署了Nginx,如六房间、酷6等。新近发现Nginx 技术在国内日趋火热,越来越多的网站开始部署Nginx。 相比apeach、iis,nginx以轻量级、高性能、稳定、配置简单、资源占用少等优势广受欢迎。 阅读全文
posted @ 2015-10-09 20:54 一人浅醉- 阅读(350) 评论(0) 推荐(0) 编辑
摘要: 程序是很简易的。然而,在编程人员面前,多线程呈现出了一组新的难题,如果没有被恰当的解决,将导致意外的行为以及细微的、难以发现的错误。 在本篇文章中,我们针对这些难题之一:如何中断一个正在运行的线程。 背景 中断(Interrupt)一个线程意味着在该线程完成任务之前停止其正在进行的一切,有效地中止其 阅读全文
posted @ 2015-10-06 02:26 一人浅醉- 阅读(3473) 评论(0) 推荐(0) 编辑
摘要: 一、先说一下大致的意思: jdk提供的类库源代码中有一些方法没有实现,这些方法前有native关键字,如object类中的 : 使用native关键字说明这个方法是原生函数,也就是这个方法是用C/C++语言实现的,并且被编译成了DLL,由java去调用。 这些函数的实现体在DLL中,JDK的源代码中 阅读全文
posted @ 2015-10-02 22:19 一人浅醉- 阅读(2027) 评论(0) 推荐(1) 编辑
摘要: Storm对流数据进行实时处理时,一种常见场景是批量一起处理一定数量的tuple元组,而不是每接收一个tuple就立刻处理一个tuple,这样可能是性能的考虑,或者是具体业务的需要。 例如,批量查询或者更新数据库,如果每一条tuple生成一条sql执行一次数据库操作,数据量大的时候,效率会比批量处理 阅读全文
posted @ 2015-09-11 19:04 一人浅醉- 阅读(398) 评论(0) 推荐(0) 编辑
摘要: 问题导读: 1.Flume传输的数据的基本单位是是什么? 2.Event是什么,流向是怎么样的? 3.Source:完成对日志数据的收集,分成什么打入Channel中? 4.Channel的作用是什么? 5.取出Channel中的数据,进行相应的存储文件系统,数据库,或者提交到远程服务器,由谁来完成 阅读全文
posted @ 2015-08-28 20:38 一人浅醉- 阅读(443) 评论(0) 推荐(0) 编辑
摘要: kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 支持通过kafka服务器和消费机集群来分区消息。 支持H 阅读全文
posted @ 2015-08-27 17:48 一人浅醉- 阅读(368) 评论(0) 推荐(0) 编辑
摘要: 问题导读: 1.如何在讲mapreduce函数中的字符串等信息,输出到eclipse控制台? 2.除了使用下文方法,还有其它方法输出到控制台? 3.map中,系统默认接受的value值是什么? 4.reduce输出不是自己想要的结果,可能的原因是什么? mapreduce不是很好理解,为什么? 因为 阅读全文
posted @ 2015-08-27 17:46 一人浅醉- 阅读(1169) 评论(0) 推荐(0) 编辑
摘要: 可以带着下面问题来阅读本文章: 1.Storm只支持什么传输 2.通过什么配置,可以更改Zookeeper默认端口 3.Storm UI必须和Storm Nimbus部署在同一台机器上,UI无法正常工作为什么 2.Storm-0.9.0.1大概经过几个步骤 Twitter Storm更新0.9.0. 阅读全文
posted @ 2015-08-27 17:45 一人浅醉- 阅读(589) 评论(0) 推荐(0) 编辑
摘要: 问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5.Flume-NG可靠性(reliability)方面做了哪些措施? 美团的日志收集系统负责美团的所 阅读全文
posted @ 2015-08-27 17:43 一人浅醉- 阅读(1444) 评论(0) 推荐(0) 编辑
摘要: 问题导读: 1.Flume的存在些什么问题? 2.基于开源的Flume美团增加了哪些功能? 3.Flume系统如何调优? 在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程 阅读全文
posted @ 2015-08-27 17:41 一人浅醉- 阅读(437) 评论(0) 推荐(0) 编辑
摘要: 问题导读 1.什么是flume? 2.flume包含哪些组件? 3.Flume在读取utf-8格式的文件时会出现解析不了时间戳,该如何解决? Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理, 阅读全文
posted @ 2015-08-27 17:39 一人浅醉- 阅读(1624) 评论(0) 推荐(0) 编辑
摘要: 个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实 时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅 阅读全文
posted @ 2015-08-27 17:37 一人浅醉- 阅读(853) 评论(1) 推荐(0) 编辑
摘要: 我们为什么要搭建该系统 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道(data pipeline)和消息系统使用。 活动流数据是所 阅读全文
posted @ 2015-08-23 11:00 一人浅醉- 阅读(478) 评论(0) 推荐(0) 编辑
摘要: Apache Kafka目标是统一离线和在线处理,与Flume和Scribe相比较,Kafka在处理活动流数据方面更具优势。但是从架构的视野来看,Kafka与传统的消息系统(例如ActiveMQ或RabbitMQ)更相似一些。 注:Scribe是Facebook开源的日志收集系统,在Facebook 阅读全文
posted @ 2015-08-23 10:59 一人浅醉- 阅读(266) 评论(0) 推荐(0) 编辑
摘要: Apache Kafka可以帮助你解决在发布/订阅架构中遇到消费数百万消息的问题。如今,商业应用、社交应用以及其它类型的应用产生的实时信息在不断增长,这些信息需要以简单的方式快速、可靠地路由到各种类型的接收者。在大多数情况下,产生信息和消费信息的应用都是自然分开的,彼此不可互相访问。需要一种机制,让 阅读全文
posted @ 2015-08-23 10:58 一人浅醉- 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 摘要:随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。 简单和明了,Storm让大数据分析变得轻松加愉快。 阅读全文
posted @ 2015-08-23 10:55 一人浅醉- 阅读(747) 评论(0) 推荐(0) 编辑
摘要: hadoop一般用在离线的分析计算中,而storm区别于hadoop,用在实时的流式计算中,被广泛用来进行实时日志处理、实时统计、实时风控等场景,当然也可以用在对数据进行实时初步的加工,存储到分布式数据库中如HBase,便于后续的查询。 面对的大批量的数据的实时计算,storm实现了一个可扩展的、低 阅读全文
posted @ 2015-08-23 10:54 一人浅醉- 阅读(531) 评论(0) 推荐(0) 编辑
摘要: 在上篇博文中,我向大家介绍了Aop重要概念和教程,这回给出代码示例。 一、XML方式 1. TestAspect:切面类 [java] view plaincopy package com.spring.aop; import org.aspectj.lang.JoinPoint; import o 阅读全文
posted @ 2015-08-16 23:40 一人浅醉- 阅读(708) 评论(0) 推荐(0) 编辑
摘要: 一、概念 AOP(Aspect Oriented Programming):面向切面编程。 面向切面编程(也叫面向方面编程),是目前软件开发中的一个热点,也是Spring框架中的一个重要内容。利用AOP可以对业务逻辑的各个部分进行隔离,从而使得业务逻辑各部分之间的耦合度降低,提高程序的可重用性,同时 阅读全文
posted @ 2015-08-16 23:38 一人浅醉- 阅读(4453) 评论(0) 推荐(3) 编辑
摘要: 概述 事务管理对于企业应用来说是至关重要的,即使出现异常情况,它也可以保证数据的一致性。Spring Framework对事务管理提供了一致的抽象,其特点如下: 为不同的事务API提供一致的编程模型,比如JTA(Java Transaction API), JDBC, Hibernate, JPA( 阅读全文
posted @ 2015-08-09 19:35 一人浅醉- 阅读(489091) 评论(5) 推荐(47) 编辑