2014年4月19日“中国Spark技术峰会”(Spark Summit China 2014)将在北京召开,国内外Apache Spark社区成员和企业用户将首次齐聚北京。AMPLab、Databricks、Intel、淘宝、网易等公司的Spark贡献者及一线开发者将分享他们在生产环境中的Spar... Read More
这是常用的系统优化要考虑的点,在系统设计和代码评审以及代码优化时加以考虑,最大限度提高系统性能:1. 优化算法,选择合适高效算法,降低不必要递归,循环,多层循环嵌套,避免循环内初始化等。2. 避免申请过多不必要的内存3. 及时释放资源,降低资源使用时间,包括内存,IO,网络,数据库等。4. 使用缓存... Read More
HBasePig 是在MapReduce上构建的查询语言(SQL-like),适用于大量并行计算。Chukwa 是基于Hadoop集群中监控系统,简单来说就是一个“看门狗” (WatchDog)Hive 是DataWareHouse 和 Map Reduce交集,适用于ETL方面的工作。HBase ... Read More