12 2021 档案

多线程编程
摘要：1. ：单线程vs多线程 线程共享：堆，文件描述符，信号处理函数，全局变量。 线程独占：栈空间，寄存器。 2. 线程的几种退出方式 1. 子线程使用return退出，主线程中使用pthread_join回收线程。如果是detach线程由系统自动回收。join线程有主线程进行回收。 2.子线程使用pt 阅读全文
posted @ 2021-12-20 21:31 dsfsadfdgd 阅读(101) 评论(0) 推荐(0) 编辑
ETCD
摘要：Etcd： kv存储数据库，用于共享配置和服务发现。支持内存和持久化存储，存储方式类似于目录结构，数据存储于叶子节点， raft算法：保证了多个节点的数据强一致性。 leader：处理客户端的所有交互和日志复制，只有一个leader。 follower：重定向请求到leader，响应leader的日 阅读全文
posted @ 2021-12-18 18:50 dsfsadfdgd 阅读(52) 评论(0) 推荐(0) 编辑
crontab
摘要：定时任务加锁 */30 * * * * cd /home/homework/script && flock -xn dataSync.lock /home/homework/php/bin/php dataSync.php >> dataSync.log 2>&1 crontab命令说明cronta 阅读全文
posted @ 2021-12-17 17:10 dsfsadfdgd 阅读(94) 评论(0) 推荐(0) 编辑
hadoop参数调优
摘要：参数： -jobconf mapred.map.tasks.speculative.execution="false" 关闭推测执行：对慢任务启动多个相同的实例。 -jobconf mapred.output.compression.codec=org.apache.hadoop.io.compre 阅读全文
posted @ 2021-12-17 17:08 dsfsadfdgd 阅读(716) 评论(0) 推荐(0) 编辑
hadoop
摘要：3. 添加新datanode后，作为Hadoop管理员需要做什么? 需要启动平衡器才能在所有节点之间重新平均分配数据，以便Hadoop集群自动查找新的datanode。 要优化集群性能，应该重新启动平衡器以在数据节点之间重新分配数据。 4. 如何在生产环境中部署Hadoop的不同组件? 需要在主节点 阅读全文
posted @ 2021-12-17 17:07 dsfsadfdgd 阅读(144) 评论(0) 推荐(0) 编辑
rsync
摘要：#rsync安装 rm -fr /var/lib/rpm/__db.* yum -y install rsync 阅读全文
posted @ 2021-12-15 21:05 dsfsadfdgd 阅读(22) 评论(0) 推荐(0) 编辑
hadoop
摘要：1. 组成 Client： 切分文件；访问HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。 三个守护进程： NameNode：Master节点，在hadoop1.X中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户端请求，了解决Na 阅读全文
posted @ 2021-12-02 14:41 dsfsadfdgd 阅读(366) 评论(0) 推荐(0) 编辑
mysql Hive BigSQL
摘要：1. WHERE 搜索条件在进行分组操作之前应用；而 HAVING 搜索条件在进行分组操作之后应用。 SELECT Customer,SUM(OrderPrice) FROM Orders WHERE Customer='Bush' OR Customer='Adams' GROUP BY Cust 阅读全文
posted @ 2021-12-01 15:34 dsfsadfdgd 阅读(30) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示