05 2017 档案

Spark -14：spark Hadoop 高可用模式下读写hdfs
摘要：第一种，通过配置文件 val sc = new SparkContext() sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1"); sc.hadoopConfiguration.set("dfs.nameservices", " 阅读全文
posted @ 2017-05-29 12:00 dy9776 阅读(1726) 评论(0) 推荐(0) 编辑
log4j 日志 配置 学习
摘要：1.用的flume-log4j avrosource的整合 2.学习如何指定类打印日志 #log4j.rootLogger=INFO,flume 这个是将全部的日志会打印出来 protected static final Log logger = LogFactory.getLog("ScriptP 阅读全文
posted @ 2017-05-23 22:41 dy9776 阅读(336) 评论(0) 推荐(0) 编辑
flume的memeryChannel中transactionCapacity和sink的batchsize需要注意事项
摘要：一. fluem中出现，transactionCapacity查询一下，得出一下这些： 最近在做flume的实时日志收集，用flume默认的配置后，发现不是完全实时的，于是看了一下，原来是memeryChannel的transactionCapacity在作怪，因为他默认是100，也就是说收集端的s 阅读全文
posted @ 2017-05-23 20:31 dy9776 阅读(6813) 评论(0) 推荐(1) 编辑
Python画图matplotlib展示图中中文乱码
摘要：在用python的 matplotlib 画图的时候，在图表上面有中文乱码问题，如下的： 解决过程： 平台：windows,python2.7步骤一：打开设置文件 import matplotlib matplotlib.matplotlib_fname() 会显示matplotlibrc文件的地址 阅读全文
posted @ 2017-05-05 15:42 dy9776 阅读(18572) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示