摘要：
python有两种配置文件,file.ini和file.json 一、ini文件如下: 对ini文件进行读写: 常用的读写方法: read(filename) 直接读取ini文件内容sections() 得到所有的section，并以列表的形式返回options(section) 得到该sectio 阅读全文
摘要：
一.批量写入 Java写入大量数据到磁盘/数据库等其它第三方介质时,由于IO是比较耗费资源的操作,通常采用攒一批然后批量写入的模式 二.写入的重试 写入第三方介质时由于网络传输问题,可能出现数据丢失等问题,需要重传 基本的逻辑是只要捕捉到异常将isException置为True就进行重传,直到传输成 阅读全文
摘要：
//从string数组创建临时文件 private static File createSampleFile(String[] strs) throws IOException { File file = File.createTempFile("aws-java-sdk-", ".txt"); file.deleteOnExit(); Writer writer = new OutputStre 阅读全文
摘要：
java官方提供了一种操作字节数组的方法——内存流（字节数组流）ByteArrayInputStream、ByteArrayOutputStream ByteArrayOutputStream——byte数组合并 ByteArrayInputStream——byte数组截取 阅读全文
摘要：
Python中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。它们是如何定义的呢？如何调用的呢？它们又有何区别和作用呢？且看下文。 首先，这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。（PS：实例对象的权限最大。） 实例方法 定义：第一个参数必须是实例对象，该参数名一般约定 阅读全文
摘要：
eval函数在Python中做数据类型的转换还是很有用的。它的作用就是把数据还原成它本身或者是能够转化成的数据类型。那么eval和ast.literal_val()的区别是什么呢？本文将大家介绍关于Python中函数eval和ast.literal_eval区别的相关资料，需要的朋友可以参考下。 前 阅读全文
摘要：
impala学习笔记 -- 建库 CREATE DATABASE IF NOT EXISTS database_name; -- 在HDFS文件系统中创建数据库，需要指定要创建数据库的位置。 CREATE DATABASE IF NOT EXISTS database_name LOCATION hdfs_path; -- 删库 DROP DATABASE IF EXISTS sample_da... 阅读全文
摘要：
set hive.cli.print.header=true; -- 显示字段名称 set hive.cli.print.current.db=true; -- 显示当前数据库名 drop database dbname CASCADE; -- 删除数据库及库中表 alter database dbname set dbproperties(key=value); -- 设置数据库元数据 alt... 阅读全文
摘要：
数据倾斜是进行大数据计算时常见的问题。主要分为map端倾斜和reduce端倾斜，map端倾斜主要是因为输入文件大小不均匀导致，reduce端主要是partition不均匀导致。 在hive中遇到数据倾斜的解决办法： 一、倾斜原因：map端缓慢，输入数据文件多，大小不均匀 当出现小文件过多，需要合并小 阅读全文
摘要：
Kafka提供了一些命令行工具，用于管理集群变更。这些工具使用Java实现，Kafka提供了一些脚本调用这些Java类。 9.1主题操作 使用Kafka-topics.sh工具可以执行主题大部分工作，我们可以用它创建，修改，删除和查看集群的主题。要使用该工具的全部功能，需要通过—zookeeper参 阅读全文