上一页 1 ··· 8 9 10 11 12 13 下一页
摘要: 阅读全文
posted @ 2016-08-18 14:53 蚂蚁都督 阅读(2894) 评论(0) 推荐(0) 编辑
摘要: IP,直接在case class里用string, 可以考虑先用其它程序生成相关的mapping,然后再去用spark填充数据 阅读全文
posted @ 2016-08-18 09:44 蚂蚁都督 阅读(292) 评论(0) 推荐(0) 编辑
摘要: ensure that workers are registered and have sufficient resources spark-cluster启动的配置里配置了每个worker的内存,如果你submit的时候指定的资源大于这个,就会报上述错 阅读全文
posted @ 2016-08-18 09:42 蚂蚁都督 阅读(474) 评论(1) 推荐(0) 编辑
摘要: curl方式创建elasticsearch的mapping curl -XPUT 'http://192.168.1.105:9200/bank/item2/_mapping' -d '{ "item2": { "properties": { "title": { "type": "string", 阅读全文
posted @ 2016-08-16 15:46 蚂蚁都督 阅读(3896) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2016-08-15 16:38 蚂蚁都督 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 对于复杂的数据类型,比如IP和GeoPoint,只是在elasticsearch中有效,用spark读取时会转换成常用的String类型。 Geo types. It is worth mentioning that rich data types available only in Elastic 阅读全文
posted @ 2016-08-12 23:02 蚂蚁都督 阅读(1197) 评论(0) 推荐(0) 编辑
摘要: 希望在spark-shell中测试集群方式的elasticsearch操作, # 1 首先下载相关的jar # 2 启动spark-shell时用--jars ./bin/spark-shell –master spark://master:7077 –jars /usr/local/spark-1 阅读全文
posted @ 2016-08-12 10:54 蚂蚁都督 阅读(4146) 评论(0) 推荐(0) 编辑
摘要: 本地需要把origin删除,然后再添加新的origin git remote rm origingit remote add origin [url] git push --set-upstream origin master 阅读全文
posted @ 2016-08-12 09:27 蚂蚁都督 阅读(656) 评论(0) 推荐(0) 编辑
摘要: val ipv4 = sc.textFile("hdfs://hbase11:9000/sparkTsData/GeoIP2-Domain-Blocks-IPv4.csv").map(_.split(",")).map(p=> (p(1),p(0))) val ipv6 = sc.textFile( 阅读全文
posted @ 2016-08-11 16:25 蚂蚁都督 阅读(289) 评论(0) 推荐(0) 编辑
摘要: 今天给同事培训了一下git的使用流程,简单记录一下 1,基本概念, 远程库和本地库。 2, git clone git://url/*.git clone远程的代码库到本地 3. 创建本地分支 当前是在master分支下,需要创建一个自己的工作分支 git checkout -b work 4. 本 阅读全文
posted @ 2016-08-11 16:10 蚂蚁都督 阅读(104) 评论(0) 推荐(0) 编辑
上一页 1 ··· 8 9 10 11 12 13 下一页