2021年12月17日
crontab
摘要： 定时任务加锁 */30 * * * * cd /home/homework/script && flock -xn dataSync.lock /home/homework/php/bin/php dataSync.php >> dataSync.log 2>&1 crontab命令说明cronta 阅读全文
posted @ 2021-12-17 17:10 dsfsadfdgd 阅读(84) 评论(0) 推荐(0) 编辑
hadoop参数调优
摘要： 参数： -jobconf mapred.map.tasks.speculative.execution="false" 关闭推测执行：对慢任务启动多个相同的实例。 -jobconf mapred.output.compression.codec=org.apache.hadoop.io.compre 阅读全文
posted @ 2021-12-17 17:08 dsfsadfdgd 阅读(693) 评论(0) 推荐(0) 编辑
hadoop
摘要： 3. 添加新datanode后，作为Hadoop管理员需要做什么? 需要启动平衡器才能在所有节点之间重新平均分配数据，以便Hadoop集群自动查找新的datanode。 要优化集群性能，应该重新启动平衡器以在数据节点之间重新分配数据。 4. 如何在生产环境中部署Hadoop的不同组件? 需要在主节点 阅读全文
posted @ 2021-12-17 17:07 dsfsadfdgd 阅读(133) 评论(0) 推荐(0) 编辑