摘要：
hadoop 在hadoop根目录创建目录 core site.xml 修改/etc/hadoop中的配置文件 hdfs site.xml 创建hdfs文件系统 dfs.replication维护副本数，默认是3个 mapred site.xml cp mapred site.xml.templat 阅读全文
2019年4月13日
2019年4月6日
摘要：
又到了清明时节，用python爬取了网易云音乐《清明雨上》的评论，统计词频和绘制词云图，记录过程中遇到一些问题 爬取网易云音乐的评论 一开始是按照常规思路，分析网页ajax的传参情况。看到参数都是加密过的，在网上参考别人之前爬虫的思路。发现陆续有人用模拟传参，自己加密参数来实现，主要用python和 阅读全文
2019年3月30日
摘要：
最近需要将一份db2导出的历史数据入库gp集群，然后把每天的增量数据导出成txt文件和对应的log日志，再ftp传输给另外一台机器。其中陆续碰到一些坑，在此记录 历史文件数据清洗 列分隔符的选择 碰到的第一个问题是db2导出的文件格式。因为之前的db2脚本导出用的是export命令，coldel0x 阅读全文
2019年3月24日
摘要：
加载依赖 yml对应配置 生产者 消费者 springboot项目启动成功，会打印出producer和consumer相关的配置信息 producer请求send接口 http://localhost:8011/send?name=today 控制台consumer输出 阅读全文
2019年3月23日
摘要：
+ "概念" + "运维" + "配置" + "监控" + "生产者与消费者" + "流处理" 分区partition 一定条件下，分区数越多，吞吐量越高。分区也是保证消息被顺序消费的基础，kafka只能保证一个分区内消息的有序性 副本 每个分区有一至多个副本(Replica)，分区的副本分布在集群 阅读全文
2019年3月17日
摘要：
集群服务器互信免密登录，ansible运维批量处理 阅读全文
2019年3月16日
摘要：
熔断器Hystrix(Circuit Breaker)，当请求失败次数超过阈值后，开启熔断不执行业务操作，执行快速失败，直接返回请求失败的消息；自我修复机制，一段时间后，会半打开熔断器检查一部分请求是否正常 阅读全文
2019年3月10日
摘要：
最近业务上需要每天解析txt文本或者excel文件，读取内容发送短信，发送的时间段可控，用python实现 安装pip依赖 pip install r requirement.txt yaml配置 代码 python coding: utf 8 from socket import from thr 阅读全文
2019年3月9日
摘要：
+ "分布式" + "zkclient" 排它锁 + 在需要获取排它锁时，通过调用create()接口，创建临时子节点。zk会保证在所有客户端中，只有一个会创建成功，从而获取锁。 + 其他客户端注册该节点的变更watch监听，在锁释放后重新竞争 + 获取锁的客户端宕机或者完成后，临时节点删除释放锁 阅读全文
2019年3月2日
摘要：
+ "算法摘要" + "安装" + "配置" + "监控" + "创建节点" 二阶段提交(Two Phase Commit) 投票和执行 + 协调者向参与者发送事务内容，询问是否可以提交，各参与者节点执行事务并向协调者反馈 + 如果所有参与者反馈yes，那么提交事务；如果有no或者超时，中断事务回滚 阅读全文
