摘要: https://zhuanlan.zhihu.com/p/28423720 阅读全文
posted @ 2017-11-23 23:07 papering 阅读(697) 评论(0) 推荐(0) 编辑
摘要: http://www.scala-sbt.org/0.13/docs/index.html sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later. Install See Installing sbt 阅读全文
posted @ 2017-11-23 20:49 papering 阅读(316) 评论(0) 推荐(0) 编辑
摘要: [在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/python2.7] yum install git Note: The following instructions are intended for inter 阅读全文
posted @ 2017-11-23 20:35 papering 阅读(237) 评论(0) 推荐(0) 编辑
摘要: https://github.com/mongodb/mongo-spark 阅读全文
posted @ 2017-11-23 20:32 papering 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 原因:学python的时候,把centos7自带的python2.7改成了python3.6.2。而yum使用的是python2,所以会出现yum报错。 解决方法: 在文件/usr/bin/yum、/usr/libexec/urlgrabber-ext-down最上面的一行改为#!/usr/bin/ 阅读全文
posted @ 2017-11-23 20:27 papering 阅读(757) 评论(0) 推荐(0) 编辑
摘要: [hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven C... 阅读全文
posted @ 2017-11-23 20:18 papering 阅读(1837) 评论(0) 推荐(0) 编辑
摘要: .gz gzip http://www.cnblogs.com/eoiioe/archive/2008/09/20/1294681.html http://www.cnblogs.com/linjiqin/archive/2013/03/24/2979736.html [root@hadoop1 l 阅读全文
posted @ 2017-11-23 17:44 papering 阅读(486) 评论(0) 推荐(0) 编辑
摘要: 性能优化事项 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf MongoDB + Spark: 完整的大数据解决方案 | MongoDB中文社区 http://www.mongoing 阅读全文
posted @ 2017-11-23 17:09 papering 阅读(743) 评论(0) 推荐(0) 编辑
摘要: HDFS MongoDB 共同点 http://www.mongoing.com/wp-content/uploads/2016/08/MDBSH2016/TJ_MongoDB+Spark.pdf 横向扩展,支持TB-PB级数据量 低成本, x86 数据自动多份复制 支持非结构化数据 差异点 粗颗粒 阅读全文
posted @ 2017-11-23 16:59 papering 阅读(976) 评论(0) 推荐(0) 编辑
摘要: 二级索引 全局二级索引 - Amazon DynamoDB http://docs.amazonaws.cn/amazondynamodb/latest/developerguide/GSI.html 属性投影 查询全局二级索引 扫描全局二级索引 表与全局二级索引之间的数据同步 全局二级索引 的预置 阅读全文
posted @ 2017-11-23 16:57 papering 阅读(446) 评论(0) 推荐(0) 编辑
摘要: 启动hadoop cd /usr/local/hadoop/hadoop $hadoop namenode -format # 启动前格式化namenode $./sbin/start-all.sh 检查是否启动成功 [hadoop@hadoop1 hadoop]$ jps 16855 NodeManager 16999 Jps 16090 NameNode 16570 Resource... 阅读全文
posted @ 2017-11-23 16:40 papering 阅读(221) 评论(0) 推荐(0) 编辑
摘要: http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 选举 再来看心跳监测请求:如果a是一个 secondary,那么a会定时检测是否需要选举自己成为 primary。其检测内容包括: 1.是否集群中有其它节点认为自己是 pri 阅读全文
posted @ 2017-11-23 12:34 papering 阅读(205) 评论(0) 推荐(0) 编辑
摘要: fire-and-forget http://m.blog.csdn.net/WangXiuli_Girl/article/details/45665723 降级 在 MongoDB 中,写操作默认通过 fire-and-forget 的模式来进行,也就是说写操作通常不关心是否成功,发完请求后客户端 阅读全文
posted @ 2017-11-23 12:31 papering 阅读(218) 评论(0) 推荐(0) 编辑
摘要: Requested option conflicts with current storage engine option for directoryPerDB; you requested true but the current server storage is already set to 阅读全文
posted @ 2017-11-23 11:48 papering 阅读(602) 评论(0) 推荐(0) 编辑
摘要: https://docs.mongodb.com/manual/reference/configuration-options/index.html 阅读全文
posted @ 2017-11-23 10:30 papering 阅读(370) 评论(0) 推荐(0) 编辑