随笔分类 - 编程开发
摘要:日常工作中常遇到大文件,无法打开、无法编辑的情况。 一般在 Linux 下可通过 split -l -d -a file.txt 的命令直接进行分割为多个文件。 但有时在 Window 下也有同样的需求,遂产生如何分割的想法? 一、批处理:按每行分割 将以下脚本与待处理文件复制同一目录下,双击执行即
阅读全文
摘要:背景 MapReduce不能满足大数据快速实时adhoc查询计算的性能要求。 的数据仓库存储在少量大型 集群。 是Facebook在几年前专为 打造的一款数据仓库工具。 在以前,Facebook的科学家和分析师一直依靠 来做数据分析。但 使用 作为底层计算框架,是专为批处理设计的。但随着数据越来越多
阅读全文
摘要:1.概述 在Java Web开发中,使用数据库来进行数据的存储。 高并发、大数据量 例如:商品抢购的场景、主页访问量瞬间较大的情况,单一使用数据库来保存数据的系统会因为面向磁盘读/写速度比较慢的问题而存在性能弊端,数据库容易宕机。 2.NoSQL技术 —— 基于内存的数据库,并且提供一定的持久化功能
阅读全文