Hadoop、Hive、Spark 之间关系
摘要：大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作
阅读全文
posted @
2020-11-19 09:33
adolfmc
阅读(372)
推荐(0) 编辑
在 Python3 中，bytes 和 str 的互相转换方式是
摘要：str.encode('utf-8')bytes.decode('utf-8') 字符串前加 b python3.x里默认的str是(py2.x里的)unicode, bytes是(py2.x)的str, b 前缀代表的就是bytes python2.x里, b前缀没什么具体意义， 只是为了兼容py
阅读全文
posted @
2020-11-10 17:18
adolfmc
阅读(1561)
推荐(0) 编辑
json中load和loads区别
摘要：loads： 是将string转换为dictdumps： 是将dict转换为stringload： 是将里json格式字符串转化为dict，读取文件dump： 是将dict类型转换为json格式字符串，存入文件 load 和 loads （反序列化）load：针对文件句柄，将json格式的字符转换为
阅读全文
posted @
2020-11-10 00:19
adolfmc
阅读(235)
推荐(0) 编辑
