HDFS vs. MongoDB
HDFS MongoDB
共同点
http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf
横向扩展,支持TB-PB级数据量 低成本, x86 数据自动多份复制 支持非结构化数据
差异点
粗颗粒度存储 细颗粒度,结构化存储
无索引 二级索引
一次写入,多次读 读写混合
非交互式,离线 分钟级SLA 交互式,实时在线 毫秒级SLA
7月1日到31日所有页面的点击量统计 OK OK
每日HTTP 404错误日志数量统计 低效:需要扫描 所有文件行 可利用索引 秒级响应
对日志行增加自定义字段 保存分析结果 不支持 OK