[置顶] 记一次带逗号的数字类型处理

摘要: 这个整型在西文中, 就是欧洲人的表示方法中 要使用 , 区分3位数字. 所以在int中会有逗号。 可以看出area字段类型是object,现在我们的需求,就是将这个数据类型转换成int类型。 自定义转换函数: 首先自定义函数,将字段中的逗号替换掉,然后转成int 也可以在读取数据时进行数据类型转换, 阅读全文

posted @ 2019-08-19 19:07 jack_6511 阅读(890) 评论(0) 推荐(0) 编辑

2020年1月17日

python对时间的处理

摘要: 用pandas处理csv文件时,遇到了时间字段RECTIME,现在用pandas读取,字段类型是int64, 现在要提取天或月的字段。 from datetime import datetime from datetime import date import time # str=20190405 阅读全文

posted @ 2020-01-17 12:58 jack_6511 阅读(175) 评论(0) 推荐(0) 编辑

2019年9月3日

记一次pandas对输出列的顺序重排

摘要: 本来的想法是,读的时候,按照指定的顺序读,然后再写入 columns = ['cmt','class_label','test_label','predict_label'] df=pandas.read_csv("read.csv",encoding="utf_8_sig",index=False 阅读全文

posted @ 2019-09-03 15:27 jack_6511 阅读(2033) 评论(1) 推荐(0) 编辑

记一次读取csv报“'gb2312' codec can't decode byte 0x9b”解决办法

摘要: 问题:UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 2-3: illegal multibyte sequence 原因:python在做将普通字符串转换为unicode对象时, 例如:u_string = uni 阅读全文

posted @ 2019-09-03 14:59 jack_6511 阅读(4400) 评论(0) 推荐(0) 编辑

记一次多进程的写入同一个文件的方法

摘要: 个人是小白,没有学习之前,我的想法是这样的: 第一种办法,就是设置一个全局变量write_flag,当一个进程将结果写入时,首先看看write_flag是否为True,如果为True,然后将write_flag重置为Flase,然后将结果写入文件,然后将write_flag重置为True; 第二种办 阅读全文

posted @ 2019-09-03 14:55 jack_6511 阅读(1770) 评论(0) 推荐(0) 编辑

2019年8月19日

Pandas 操作多个列进行运算,并生成新列的方法

摘要: pandas 实现对一行中的多个列运算 ,生成新的列的方法, pd.head() df.eval("""e = 气温 + 湿度f = 气温 - 湿度g = 气温 / 2.0""", inplace=True) inplace参数: 是否在原数据上操作。 inplace=False 将会生成新的Dat 阅读全文

posted @ 2019-08-19 14:43 jack_6511 阅读(5703) 评论(0) 推荐(1) 编辑

2019年3月4日

解决namenode格式化时报错,Call From n1/192.168.253.130 to s1:8485 failed on connection exception: java.net.Connec

摘要: 格式化Namenode提示Call From n1/192.168.253.130 to s1:8485 failed on connection exception: java.net.Connec错误,看了看http://wiki.apache.org/hadoop/ConnectionRefu 阅读全文

posted @ 2019-03-04 10:38 jack_6511 阅读(3039) 评论(0) 推荐(0) 编辑

解决HA is not enable for this namenode错误

摘要: bin 下格式化ZKFC,命令./hdfs zkfc -formatZK,报HA is not enable for this namenode错误,如下图 经过检查hdfs_site.xml文件,发现配置错误,因为后面配置的都是nn1,nn2,而红框处,应该也是nn1,nn2,此处要保持前后一致( 阅读全文

posted @ 2019-03-04 08:58 jack_6511 阅读(6725) 评论(0) 推荐(0) 编辑

2019年3月2日

zookeeper 启动失败,问题解决

摘要: zookeeper 再启动报错时会将错误日志输出到zookeeper的根目录下地zookeeper.out 文件。 反复核查配置文件zoo.cfg没有错误后,发现是防火墙的问题, 关闭systemctl stop firewalld 查看状态 systemctl stop firewalld 重新启 阅读全文

posted @ 2019-03-02 14:24 jack_6511 阅读(348) 评论(0) 推荐(0) 编辑

2019年1月23日

根据经纬度计算多边形的面积

摘要: 这里有个前提是:你的经纬度点是依次相连接的点,不是无序的,可以是顺时针,或者逆时针都可以。 附python代码: Calculate the area of polygon according to the longitude and latitude. assuming your source i 阅读全文

posted @ 2019-01-23 13:28 jack_6511 阅读(1468) 评论(0) 推荐(0) 编辑

导航