2017年11月13日

Spark无法创建新线程

摘要： Spark提交程序报错，无法创建新的线程 原因是因为这台公用机器上跑的进程太多了，需要修改Linux参数，允许用户最大进程数 查看允许用户最大进程数配置 修改允许用户最大进程数配置 在文件后面追加一句，并使配置立即生效，设置太大也不好，Java内存不够用[囧] 阅读全文

posted @ 2017-11-13 17:14 WOTGL 阅读(371) 评论(0) 推荐(0) 编辑

Kafka命令

摘要： 需求：用Spark给Kafka写数据，模拟线上环境。 需要先创建topic 后台启动Zookeeper 后台启动Kafka Spark往Kafka写数据 查看Kafka输出 阅读全文

posted @ 2017-11-13 13:33 WOTGL 阅读(182) 评论(0) 推荐(0) 编辑

导航