摘要: Python 输出文件内容到网络端口 返回: Python基础 索引页 $ cat mySocketTest.py import sysimport timeimport socket if __name__ == "__main__":if len(sys.argv) < 4:print >> s 阅读全文
posted @ 2017-10-29 21:16 健哥的数据花园 阅读(1190) 评论(0) 推荐(0) 编辑
摘要: Spark读取网络输入的例子: 返回: 大数据索引页 参考如下的URL进行试验 https://stackoverflow.com/questions/46739081/how-to-get-record-in-string-format-from-sockettextstreamhttp://ww 阅读全文
posted @ 2017-10-29 10:53 健哥的数据花园 阅读(2655) 评论(2) 推荐(1) 编辑
摘要: Spark程序在运行的时候,总是输出很多INFO级别内容 查看了网上的一些文章,进行了试验。 发现在 /etc/spark/conf 目录下,有一个 log4j.properties.template $cp log4j.properties.template log4j.properties 然后 阅读全文
posted @ 2017-10-29 10:19 健哥的数据花园 阅读(2521) 评论(0) 推荐(0) 编辑
摘要: 非交互式运行Spark Application 的例子 $ cat Count.py import sysfrom pyspark import SparkContext if __name__ == "__main__": sc = SparkContext()logfile = sys.argv 阅读全文
posted @ 2017-10-29 10:02 健哥的数据花园 阅读(424) 评论(0) 推荐(0) 编辑