一剑风徽 - 博客园

华为笔试训练题-24点运算(python3处理)

摘要：华为机试完整题库链接: https://www.nowcoder.com/ta/huawei 本题链接: https://www.nowcoder.com/practice/7e124483271e4c979a82eb2956544f9d 解题思路: 要注意的点: 1-13每个数字都有可能出现4次, 阅读全文

posted @ 2020-06-15 12:44 一剑风徽阅读(702) 评论(0) 推荐(0) 编辑

Hadoop 小文件处理

摘要： 1. 小文件的产生原因定义: 当一个文件的大小小于 HDFS 的块大小（默认128MB）就认定为小文件，否则就是大文件 1. 批处理,离线计算, 会有小文件的产生; 2. 数据处理时,把数据源搬迁到 HDFS,如果数据源本身就是有很多小文件; 3. MapReduce作业和 Spark作业时,没阅读全文

posted @ 2020-04-29 21:07 一剑风徽阅读(1297) 评论(0) 推荐(0) 编辑

自动化运维(DEVOPS)shell

摘要：自动化运维(DEVOPS)shell 1. shell基础知识 1.1 shell 脚本 1.1.1 创建脚本脚本创建工具：创建脚本的常见编辑器是 vi/vim. 脚本命名 shell脚本的命名简单来说就是要有意义，方便我们通过脚本名，来知道这个文件是干什么用的。脚本内容：各种可以执行的命令阅读全文

posted @ 2020-04-29 19:10 一剑风徽阅读(1371) 评论(0) 推荐(0) 编辑

大数据杂稿

摘要： Sqoop导入导出Null存储一致性问题 Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用--input-null-string和--input-null-non-string两个参数。导入数据时采用--null-s 阅读全文

posted @ 2020-04-03 17:01 一剑风徽阅读(179) 评论(0) 推荐(0) 编辑

python读取excel文件,做数据透视(单元格合并)

摘要：先描述下需求,如下图一图一要统计各用户id,昵称以及其对应字的个数(1行数据算1个),以及其对应处理老师(ps:会有至少一个老师处理),以及各老师处理的个数及占比, 最后得到下图二的结果图二 """ 数据处理 1. 读取数据中的用户id,用户昵称,字,老师id,老师昵称 2. 统计用户id及阅读全文

posted @ 2020-02-15 13:26 一剑风徽阅读(1000) 评论(0) 推荐(0) 编辑

python操作excel读取文件,处理后再保存成新的excel

摘要：本文使用的是xlrd,xlwt模块, 直接使用pip install 安装即可; 具体模块代码,可以github上查阅: https://github.com/python-excel/xlrd 详细的说明可参考官网: http://www.python-excel.org/ 因为上面两个看起来比较阅读全文

posted @ 2019-12-13 13:43 一剑风徽阅读(3354) 评论(0) 推荐(0) 编辑

shell脚本调用api接口,对返回数据处理并返回结果

摘要： 1 #!/bin/bash 2 # 经纬度反解析地址区域,调用的是腾讯位置的api 3 4 parse_district(){ 5 url="https://apis.map.qq.com/ws/geocoder/v1/?location=$1,$2&key=4XCBZ-BPJ6G-23JQI-I2 阅读全文

posted @ 2019-11-07 11:24 一剑风徽阅读(15619) 评论(0) 推荐(0) 编辑

Fiddler 抓包相关

摘要： BUG记录 "This is a CONNECT tunnel, through which encrypted HTTPS traffic flows. Fiddler's HTTPS Decryption feature is enabled, but this specific tunnel 阅读全文

posted @ 2019-10-22 12:00 一剑风徽阅读(1575) 评论(0) 推荐(0) 编辑

Xshell中文件传输与下载

摘要：方法1 直接使用Xshell自带的文件传输工具,使用 rz 命令进行上传, 使用 sz 命令进行下载, 具体参考链接: https://www.cnblogs.com/pcyy/p/7568820.html 方法2 使用远程传输指令 scp 要拷贝的文件拷贝存放的地址 eg: 将本地文件推送到远阅读全文

posted @ 2019-07-29 11:19 一剑风徽阅读(704) 评论(0) 推荐(0) 编辑

pymysql操作汇总

摘要： ## Python 中操作 MySQL 步骤引入模块在py文件中引入pymysql模块在py文件中引入pymysql模块 Connection 对象用于建立与数据库的连接创建对象：调用connect()方法用于建立与数据库的连接创建对象：调用connect()方法参数host：连接的阅读全文

posted @ 2019-06-16 11:17 一剑风徽阅读(676) 评论(0) 推荐(0) 编辑

导航