摘要:
python有两种配置文件,file.ini和file.json 一、ini文件如下: 对ini文件进行读写: 常用的读写方法: read(filename) 直接读取ini文件内容sections() 得到所有的section,并以列表的形式返回options(section) 得到该sectio 阅读全文
摘要:
一.批量写入 Java写入大量数据到磁盘/数据库等其它第三方介质时,由于IO是比较耗费资源的操作,通常采用攒一批然后批量写入的模式 二.写入的重试 写入第三方介质时由于网络传输问题,可能出现数据丢失等问题,需要重传 基本的逻辑是只要捕捉到异常将isException置为True就进行重传,直到传输成 阅读全文
摘要:
//从string数组创建临时文件 private static File createSampleFile(String[] strs) throws IOException { File file = File.createTempFile("aws-java-sdk-", ".txt"); file.deleteOnExit(); Writer writer = new OutputStre 阅读全文
摘要:
java官方提供了一种操作字节数组的方法——内存流(字节数组流)ByteArrayInputStream、ByteArrayOutputStream ByteArrayOutputStream——byte数组合并 ByteArrayInputStream——byte数组截取 阅读全文
摘要:
Python中至少有三种比较常见的方法类型,即实例方法,类方法、静态方法。它们是如何定义的呢?如何调用的呢?它们又有何区别和作用呢?且看下文。 首先,这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。(PS:实例对象的权限最大。) 实例方法 定义:第一个参数必须是实例对象,该参数名一般约定 阅读全文
摘要:
eval函数在Python中做数据类型的转换还是很有用的。它的作用就是把数据还原成它本身或者是能够转化成的数据类型。那么eval和ast.literal_val()的区别是什么呢?本文将大家介绍关于Python中函数eval和ast.literal_eval区别的相关资料,需要的朋友可以参考下。 前 阅读全文
摘要:
impala学习笔记 -- 建库 CREATE DATABASE IF NOT EXISTS database_name; -- 在HDFS文件系统中创建数据库,需要指定要创建数据库的位置。 CREATE DATABASE IF NOT EXISTS database_name LOCATION hdfs_path; -- 删库 DROP DATABASE IF EXISTS sample_da... 阅读全文
摘要:
set hive.cli.print.header=true; -- 显示字段名称 set hive.cli.print.current.db=true; -- 显示当前数据库名 drop database dbname CASCADE; -- 删除数据库及库中表 alter database dbname set dbproperties(key=value); -- 设置数据库元数据 alt... 阅读全文
摘要:
数据倾斜是进行大数据计算时常见的问题。主要分为map端倾斜和reduce端倾斜,map端倾斜主要是因为输入文件大小不均匀导致,reduce端主要是partition不均匀导致。 在hive中遇到数据倾斜的解决办法: 一、倾斜原因:map端缓慢,输入数据文件多,大小不均匀 当出现小文件过多,需要合并小 阅读全文
摘要:
Kafka提供了一些命令行工具,用于管理集群变更。这些工具使用Java实现,Kafka提供了一些脚本调用这些Java类。 9.1主题操作 使用Kafka-topics.sh工具可以执行主题大部分工作,我们可以用它创建,修改,删除和查看集群的主题。要使用该工具的全部功能,需要通过—zookeeper参 阅读全文