dsfsadfdgd - 博客园

2021年12月17日

摘要：定时任务加锁 */30 * * * * cd /home/homework/script && flock -xn dataSync.lock /home/homework/php/bin/php dataSync.php >> dataSync.log 2>&1 crontab命令说明cronta 阅读全文

posted @ 2021-12-17 17:10 dsfsadfdgd 阅读(49) 评论(0) 推荐(0) 编辑

hadoop参数调优

摘要：参数： -jobconf mapred.map.tasks.speculative.execution="false" 关闭推测执行：对慢任务启动多个相同的实例。 -jobconf mapred.output.compression.codec=org.apache.hadoop.io.compre 阅读全文

posted @ 2021-12-17 17:08 dsfsadfdgd 阅读(644) 评论(0) 推荐(0) 编辑

hadoop

摘要： 3. 添加新datanode后，作为Hadoop管理员需要做什么? 需要启动平衡器才能在所有节点之间重新平均分配数据，以便Hadoop集群自动查找新的datanode。要优化集群性能，应该重新启动平衡器以在数据节点之间重新分配数据。 4. 如何在生产环境中部署Hadoop的不同组件? 需要在主节点阅读全文

posted @ 2021-12-17 17:07 dsfsadfdgd 阅读(108) 评论(0) 推荐(0) 编辑

2021年12月15日

rsync

摘要： #rsync安装 rm -fr /var/lib/rpm/__db.* yum -y install rsync 阅读全文

posted @ 2021-12-15 21:05 dsfsadfdgd 阅读(21) 评论(0) 推荐(0) 编辑

2021年12月2日

hadoop

摘要： 1. 组成 Client：切分文件；访问HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。三个守护进程： NameNode：Master节点，在hadoop1.X中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求，了解决Na 阅读全文

posted @ 2021-12-02 14:41 dsfsadfdgd 阅读(279) 评论(0) 推荐(0) 编辑

2021年12月1日

mysql Hive BigSQL

摘要： 1. WHERE 搜索条件在进行分组操作之前应用；而 HAVING 搜索条件在进行分组操作之后应用。 SELECT Customer,SUM(OrderPrice) FROM Orders WHERE Customer='Bush' OR Customer='Adams' GROUP BY Cust 阅读全文

posted @ 2021-12-01 15:34 dsfsadfdgd 阅读(26) 评论(0) 推荐(0) 编辑

2021年10月8日

lucene学习

摘要： 1. 非结构化数据：指不定长或无固定格式的数据，如邮件，word文档等。非结构化数据又叫全文数据。结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等。 2. 全文检索的基本思路，即将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对有一定结构的数据进行搜索，从阅读全文

posted @ 2021-10-08 15:35 dsfsadfdgd 阅读(22) 评论(0) 推荐(0) 编辑

2021年8月30日

ProcessMergeRound1Reduce

摘要： class Parser4MergeRound1Reduce(BaseStrategy): def __init__(self): BaseStrategy.__init__(self, fd.strategy_type_common, "Parser4MergeRound1Reduce") def 阅读全文

posted @ 2021-08-30 17:29 dsfsadfdgd 阅读(14) 评论(0) 推荐(0) 编辑

2021年8月29日

mr_map

摘要： #include <signal.h> #include <execinfo.h> #include <hadoop_mapred.h> #include <stdio.h> #include <string.h> #include <errno.h> #include <string> #incl 阅读全文

posted @ 2021-08-29 12:42 dsfsadfdgd 阅读(23) 评论(0) 推荐(0) 编辑

trans_mobs_operator_impl.cpp

摘要： #include "trans_mobs_operator_impl.h" namespace baidu { namespace ymir { TransMobsOperatorImpl::TransMobsOperatorImpl() { _process_node_num = 0; _pass 阅读全文

posted @ 2021-08-29 12:42 dsfsadfdgd 阅读(24) 评论(0) 推荐(0) 编辑

sdsfsgsdreje

公告