build jar(sbt)
摘要：
project 中遇到 example: .sbt .sh 阅读全文
posted @ 2017-09-26 23:14 satyrs 阅读(129) 评论(0) 推荐(0) 编辑
basic spark or spark essentials-01(notes)
摘要：
parallelized,lazily transform,cache(),actions 算子 算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。数据转化为Spark中的数据块，RDD就是一组分区，物理上是元数据结构存储映射关系，物理对应一个block。通过BlockManager进行 阅读全文
posted @ 2017-09-26 23:00 satyrs 阅读(144) 评论(0) 推荐(0) 编辑
trouble shooting(ubuntu\mac,os,shell,command line always to be continue)
摘要：
login screen: sudo gpasswd -d $USER nopasswdlogin (just don't need pass for login screen)root pass: https://www.youtube.com/watch?v=5GeVMDQsDpcblack s 阅读全文
posted @ 2017-09-26 21:53 satyrs 阅读(185) 评论(0) 推荐(0) 编辑
Spark+Kafka(project)
摘要：
地址 ：https://github.com/yuqingwang15/kafka-spark 案例实时统计每秒中男女生购物人数，因此针对每条购物日志，我们只需要获取gender即可，然后发送给Kafka，接下来Spark Streaming再接收gender进行处理。 1 应用程序将购物日志发送给 阅读全文
posted @ 2017-09-26 14:33 satyrs 阅读(579) 评论(0) 推荐(0) 编辑
build jar(intellij)
摘要：
File->Project Structure Artifacts->绿色加号->Jar->From moduleswith dependencies... Main Class->Search by Name->Apply->OK 其他选项都删除，只保留了Name.jar以及Name compil 阅读全文
posted @ 2017-09-26 10:21 satyrs 阅读(245) 评论(0) 推荐(0) 编辑
