03 2022 档案

Python读取文件并写入ODPS
摘要：前提： 将本地csv文件，用pandas读取，并进行数据ETL，最后导入到ODPS表中。 代码如下： import pandas as pd from tqdm import tqdm_notebook from odps import ODPS from odps import options f 阅读全文
posted @ 2022-03-28 09:03 明明就- 阅读(1571) 评论(0) 推荐(0) 编辑
Pandas读取csv文件并修改英文逗号
摘要：需求背景：有一个很大的csv文件，大概有几百万行，数据质量不是很好，不能直接写入数据库中，如下： 1,HR00001,bigolin-03,03,,,,,"*,可以",100,,,, 2,HR00002,bigolin-06,06,,,,,"12.23,备份",340,,,, 目的：将"" 中的英文 阅读全文
posted @ 2022-03-24 21:57 明明就- 阅读(486) 评论(0) 推荐(0) 编辑
启动hbase后一会master就掉了
摘要：一、问题描述： 在启动完zk、Hadoop后想继续启动HBase，但是bin/start-hbase.sh后，进程里始终是HMaster起不起来(开始存活1-2s，然后直接挂掉..) 二、在日志中寻找答案 看到Hbase的log文件，发现是zk的问题 三、开始寻找解决办法 .在网上看了看其他道友遇到 阅读全文
posted @ 2022-03-18 21:01 明明就- 阅读(801) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示