摘要：
在这里看到的解决方法https://issues.apache.org/jira/browse/SPARK-1729请是个人理解，有问题请大家留言。其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧的办法。在flume中其... 阅读全文
摘要：
http://totohust.iteye.com/blog/10355501. IDEA内存优化先看看你机器本身的配置而配置.\IntelliJ IDEA 8\bin\idea.exe.vmoptions------------------------------------------Xms64... 阅读全文
摘要：
有两种方式，一种是sparkstreaming中的driver起监听，flume来推数据；另一种是sparkstreaming按照时间策略轮训的向flume拉数据。最开始我以为只有第一种方法，但是尼玛问题在于driver起来的结点是没谱的，所以每次我重启streaming后发现尼玛每次都要修改flu... 阅读全文