2018 年 3月 8 日随笔档案 - 小茶馆

摘要：接上面两篇： UPDATE:下面两个链接是发布在简书的，感觉简书排版不好看，就迁移过来了。 python操作hdfs模块上传文件到HDFS python脚本—上传本机文件到远端(接上文) 由于与客户为未正式沟通，所以脚本再次发生变化，再次。。。（不能再客户机... 阅读全文

posted @ 2018-03-08 19:00 小茶馆阅读(422) 评论(0) 推荐(0) 编辑

摘要：上一个脚本刚写完，第二天不用了。。。需要传到linux服务器上。。。So,下一个脚本开始：1. 这次选择用的paramiko模块pip install paramiko2. 整体思路遍历本地目录放入集合读取上次上传到linux的文件信息（existsfile... 阅读全文

posted @ 2018-03-08 18:58 小茶馆阅读(747) 评论(0) 推荐(0) 编辑

摘要：因为公司需要，需要写一个脚本将Windows server上的部分日志文件同步到HDFS上，每天定时启动脚本上传。大体思路是，首先对比Windows server和HDFS上的是否一样，不一样就证明产生了新的日志文件，然后上传。折腾了一天才弄好。。。系统... 阅读全文

posted @ 2018-03-08 18:51 小茶馆阅读(4202) 评论(0) 推荐(0) 编辑

小茶馆