摘要：
什么是大数据 大数据是指无法在一定时间范围内用传统的计算机技术进行处理的海量数据集。 对于大数据的测试则需要不同的工具、技术、框架来进行处理。 大数据的体量大、多样化和高速处理所涉及的数据生成、存储、检索和分析使得大数据工程师需要掌握极其高的技术功底。 需要你学习掌握更多的大数据技术、Hadoop、 阅读全文
摘要：
一.监控系统时，需要监控的项 System 系统 Processor 处理器 Memory 内存 PhysicalDisk 磁盘 Server 服务器 二.指标详解 （一）. PhysicalDisk--磁盘 （1）%Disk Time 磁盘利用率 为读或写请求提供服务所用的时间是百分比，放映磁盘工 阅读全文
摘要：
无论做什么数据，都离不开日期函数的使用。 这里转载一下Hive的日期函数的使用，写的相当完整。 日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, string format]) 返回值: string说明: 转化UNI 阅读全文
摘要：
首先连接 hive shell 直接输入 hive启动, 使用--开头的字符串来表示注释 hive>quit; --退出hive hive> exit; --exit会影响之前的使用，所以需要下一句kill掉hadoop的进程 hine>hadoop job -kill jobid 1、显示表 hi 阅读全文
摘要：
什么是性能测试： 简单说，功能测试是软件是否能用，性能测试是看软件好不好用； 性能测试的含义，大体来讲就是通过自动化的手段，模拟生产运行的业务压力或者相应的场景，来测试协同系统是否满足生产需要。 性能测试（Performance Testing）核心概念：1.负载测试(Load Testing):关 阅读全文
摘要：
一.在PL\SQL语句块begin。。。end;中，不能直接使用select，必须与into结合查询。 例如： declare aa：=22; id2 integer; begin select * from tabname where id=aa ； end;//提示错误该select语句中缺少i 阅读全文
摘要：
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些 阅读全文
摘要：
使用 Kafka 和 Spark Streaming 构建实时数据处理系统 来源：https://www.ibm.com/developerworks，这篇文章转载自微信里文章，正好解决了我项目中的技术问题，非常感谢。 引言 在很多领域，如股市走向分析, 气象数据测控，网站用户行为分析等，由于数据产 阅读全文
摘要：
一、Zookeeper 分布式协调技术 Zookeeper 分布式协调技术，即主要用来解决分布式环境当中多个进程之间的同步控制，让它们有序的去访问某种临界资源，防止造成“脏数据”的后果。 来看下图： 图片中有三台机器，每台机器跑一个应用程序。我们将这三台机器用网络连接起来，构成一个系统来为用户提供服 阅读全文
摘要：
Kafka的概念： 1、 AMQP协议 1、 AMQP协议 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)：是一个标准开放的应用层的消息中间件（Me 阅读全文