摘要：
配置nginx日志按天生成 http{ map $time_iso8601 $logdate { '~^(?\d{4}-\d{2}-\d{2})' $ymd; default 'nodate'; } server{ accesslog '/var/log/nginx/access${logdate} 阅读全文
摘要：
初期选用fiume发送至Kafka。经过观察，每一个FlumeAgent都占用了较大的系统资源（至少会占用一颗CPU 50%以上的资源）。而另外一个业务，LogServer压力大，CPU资源尤其紧张，如果要实时收集分析日志，那么就需要一个更轻量级、占用资源更少的日志收集框架。 filebeat、lo 阅读全文
摘要：
################################### Cluster ################################### #定义集群名称,默认是elasticsearch cluster.name: elasticsearch ################# 阅读全文
摘要：
安装参考连接：https://www.cnblogs.com/huxinga/p/8706155.html 问题： azkaban.executor.ExecutorManagerException: No active executors found 没有找到活动的executors，需在MySQ 阅读全文
摘要：
Hadoop资源调度器是负责将任务分配给各种DataNode上的可用YARN容器的组件。调度器是ResourceManager中的插件。可以将调度器视为工具，它使集群多个租户共享集群，并以有效和及时的方式使用集群资源（CPU和内存），同时它还注意集群的总分配容量。 容量调度器（Capacity Sc 阅读全文
摘要：
#!/bin/bash set -e #所需变量 #取得集群的所有主机名，这里需要注意：/etc/hosts配置的IP和主机名只能用一个空格分割 hostList=$(cat /etc/hosts | tail -n +2 | cut -d ' ' -f 2) pingCount=5 logPre= 阅读全文
摘要：
1.Error initializing SparkContext. 20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/applicat 阅读全文
摘要：
卸载ambari脚本 #!/bin/bash PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH #取得集群的所有主机名，这里需要注意：/etc/hosts配置的IP和主机名只能用一个 阅读全文
摘要：
前提Hadoop环境已存在 下载：http://spark.apache.org/downloads.html 要根据自己机器中的hadoop版本选择对应的spark版本 Spark小知识:Spark会判断数剧处理时在哪个阶段要缓存数据，以及哪些数据应该缓存，有时候可能不会缓存数据，只是过滤一遍。 阅读全文
摘要：
@Resource用法与@Autowired 用法相似，从容器中自动获取bean，做依赖注入。 @Autowired 与@Resource的区别： 1、 @Autowired默认按类型装配（这个注解是属spring的），默认情况下必须要求依赖对象必须存在，如果要允许null值，可以设置它的requi 阅读全文