那一抹风

2018年1月21日

摘要：在Spark中，一个应用程序要想被执行，肯定要经过以下的步骤：从这个路线得知，最终一个job是依赖于分布在集群不同节点中的task，通过并行或者并发的运行来完成真正的工作。由此可见，一个个的分布式的task才是Spark的真正执行者。下面先来张task运行框架整体的对Spark的task运行有个大阅读全文

posted @ 2018-01-21 00:10 那一抹风阅读(9227) 评论(0) 推荐(1) 编辑

一个Spark job的生命历程

摘要：一个job的生命历程 dagScheduler.runJob //（1） --> submitJob ( eventProcessLoop.post(JobSubmitted,***) //（2） --> eventProcessLoop //（3） --> onReceive(event: DAG 阅读全文

posted @ 2018-01-21 00:06 那一抹风阅读(1138) 评论(0) 推荐(0) 编辑

Spark调优秘诀——超详细

posted @ 2018-01-21 00:00 那一抹风阅读(10661) 评论(1) 推荐(1) 编辑

2018年1月14日

NLP文本相似度(TF-IDF)

摘要：本篇博文是数据挖掘部分的首篇，思路主要是先聊聊相似度的理论部分，下一篇是代码实战。我们在比较事物时，往往会用到“不同”，“一样”，“相似”等词语，这些词语背后都涉及到一个动作——双方的比较。只有通过比较才能得出结论，究竟是相同还是不同。但是万物真的有这么极端的区分吗？在我看来不是的，生活中通过“相阅读全文

posted @ 2018-01-14 16:01 那一抹风阅读(44083) 评论(4) 推荐(12) 编辑

2017年12月29日

Spark 参数配置的几种方法

摘要： 1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-va 阅读全文

posted @ 2017-12-29 09:42 那一抹风阅读(17107) 评论(0) 推荐(1) 编辑

2017年12月28日

Spark提交应用程序之Spark-Submit分析

摘要：转载必须注明出处：梁杰帆在这里要先感谢原作者们！如果各位在这里发现了错误之处，请大家提出 2017-12-28 15:41:13 1.提交应用程序在提交应用程序的时候，用到 spark-submit 脚本。我们来看下这个脚本：可以看出来 spark-class 脚本才是真正的提交程序的，spa 阅读全文

posted @ 2017-12-28 11:10 那一抹风阅读(6417) 评论(0) 推荐(0) 编辑

2017年11月28日

spark_flume_mysql 整合

摘要：本人的开发环境： 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题，不然会出现很多莫名其妙的问题本人的开发环境： 1.虚拟机centos 6.5 2.jdk 1.8 3.s 阅读全文

posted @ 2017-11-28 23:23 那一抹风阅读(850) 评论(0) 推荐(0) 编辑

Spark Programming Guide《翻译》

摘要：转载必须注明出处：梁杰帆在这里要先感谢原作者们！如果各位在这里发现了错误之处，请大家提出 1.Initializing Spark Spark程序必须做的第一件事就是创建一个SparkContext对象，它告诉Spark如何访问集群。要创建SparkContext，首先需要构建一个SparkCon 阅读全文

posted @ 2017-11-28 23:00 那一抹风阅读(204) 评论(0) 推荐(0) 编辑

2017年11月26日

windows下Idea结合maven开发spark和本地调试

摘要：本人的开发环境： 1.虚拟机centos 6.5 2.jdk 1.8 3.spark2.2.0 4.scala 2.11.8 5.maven 3.5.2 在开发和搭环境时必须注意版本兼容的问题，不然会出现很多莫名其妙的问题 1.启动master进程 ./sbin/start-master.sh 2. 阅读全文

posted @ 2017-11-26 16:23 那一抹风阅读(4357) 评论(0) 推荐(0) 编辑

2017年11月19日

Python操作Hbase

摘要：目录： 1.原理介绍 2.安装环境所依赖的工具 3.安装Thrift 4.拷贝python操作hbase 符合Thrift协议的API目录到开发目录 5.启动Thrift服务 6.启动Hbase 7.测试 1.原理介绍 2.安装环境所依赖的工具 sudo yum install automake l 阅读全文

posted @ 2017-11-19 22:55 那一抹风阅读(4417) 评论(0) 推荐(0) 编辑

公告