java数据分析及数据可视化库tableSaw(转）
转自：https://blog.csdn.net/qq_44525150/article/details/111768704
参考：https://juejin.cn/post/6844904073670590478
配置
Tablesaw需要Java8或更新的版本。
使用Maven导入包。
<dependency> <groupId>tech.tablesaw</groupId> <artifactId>tablesaw-core</artifactId> <version>LATEST</version> </dependency>
1.表和列
Tablesaw整个都是关于表格的，而表格又是由列组成的，所以我们的学习先从列开始。
列
一个Column是一个被命名的，一维数据集，它可能是一个Table的一部分，也可能不是。一个Column中的数据必须是同一种类型。
创建一个数据列
使用DoubleColumn.create(String name,double ... arr)方法来创建一个元素类型为double的column;
根据包含元素类型的不同，还有IntColumn,StringColumn等。
double[] numbers = {1,2,3,4}; DoubleColumn nc = DoubleColumn.create("nc",numbers); // DoubleColumn nc = DoubleColumn.create("nc",1,2,3,4); 这样也是可以的 System.out.println(nc.print());
2.获取数列中的某个数据
使用 nc.get(int index)方法来获取column某个元素，index从0开始。
// 创建数据列
double[] numbers = {1,2,3,4}; DoubleColumn nc = DoubleColumn.create("nc",numbers); // index为2，所以获取到nc中的第三个元素 Double three = nc.get(2); System.out.println(three);
3.columnar operations(柱状运算)
Tablesaw中有很多针对一列数据的运算，如下面的multiply(Number value)是原来列中的每个元素都乘以value。
// 创建数据列 double[] numbers = {1,2,3,4}; DoubleColumn nc1 = DoubleColumn.create("nc",numbers); System.out.println(nc1.print()); // 使用multiply(Number value)是原来列中的每个元素都乘以value // 这个方法并不会修改nc，而是返回一个新的Column对象nc1,nc1的列名为[nc列名*value],我们可以使用 setName(String name),设置列名; DoubleColumn nc2 = nc1.multiply(8); // nc1.setName("nc2"); System.out.println(nc2.print());
4.Selections(选择项)
Selections被用来筛选表和列。我们对一个Column对象使用形如isLessThan(aNumber)方法来附加筛选条件，就可以生成一个Selection对象，一个Selection对象包含一个有序的int类型的集合，该集合包含了Column对象中满足设定条件的元素的索引。
// 创建数据列 double[] numbers = {1,2,3,4}; DoubleColumn nc1 = DoubleColumn.create("nc",numbers); // 使用isLessThan(double value)方法 获取筛选出nc中小于3的元素的Selection对象 Selection lessThanThreeSelection = nc1.isLessThan(3); //A selection maintains an ordered set of ints that can be used to eval rows from a table or column System.out.println(Arrays.toString(lessThanThreeSelection.toArray()));
5.使用where(Selection selection)方法，获取经过指定selection筛选后的Column或Table
DoubleColumn nc2 = nc1.where(lessThanThreeSelection);
System.out.println(nc2.print());
6.组合过滤器
DoubleColumn nc3 = nc1.where(nc1.isGreaterThan(1).and(nc1.isLessThan(3)));
System.out.println(nc3.print());
7.通过index选择
DoubleColumn nc4 = nc1.where(Selection.with(1, 3)); System.out.println(nc4.print()); DoubleColumn nc5 = nc1.where(Selection.withRange(1, 3)); System.out.println(nc5.print());
9.Map functions
Map functions是一些定义在columns上的方法，它们返回一个新的Columns,
之前的 Column multiply(Number value)方法就是一个有一个标量参数的map function
我们也可以使用multiply(NumberColumn numberColumn)的方法，来是两个column中的值对应相乘
DoubleColumn nc1 = DoubleColumn.create("nc",new double[]{1,2,3,4,5});
DoubleColumn nc2 = DoubleColumn.create("nc1",new double[]{1,2,3,4,5});
DoubleColumn nc3 = nc1.multiply(nc2);
System.out.println(nc3.print());
Tablesaw针对各种Column类型内置了很多的map functions,下面是一些例子
StringColumn s = StringColumn.create("sc", new String[] {"foo", "bar", "baz", "foobarbaz"});
StringColumn s2 = s.copy();
// 以下方法全部都是针对StringColumn中所有字符串进行的操作
s2 = s2.replaceFirst("foo", "bar"); // 字符串替换
s2 = s2.upperCase(); // 转化成大写
s2 = s2.padEnd(5, 'x'); // 字符串的长度小于minlength(第一个参数)时,在字符串的尾部填充某字符，使其长度达到minlength
s2 = s2.substring(1, 5); // 获取[1,5)子串
System.out.println(s2.print());
10.Reduce (aggregate) functions: Summarizing a column(汇总功能)
有时我们想计算一些值从某种意义上总结一列中的数据，汇总函数就是用来做这个的。
DoubleColumn nc1 = DoubleColumn.create("nc",new double[]{1,2,3,4,5});
double max = nc1.max(); // 列中的最大值
System.out.println(max);
double min = nc1.min(); // 列中的最小值
System.out.println(min);
double sum = nc1.sum(); // 最大值
System.out.println(sum);
double stdDev = nc1.standardDeviation(); // 标准差
System.out.println(stdDev);
11.表
一个Table是一个被命名的columns的容器，虽然缺失值是允许的，但是table中所有的column的元素数量应该一样。
一个Table可以包含任何类型的columns组合。
创建Table
String[] animals = {"bear", "cat", "giraffe"};
double[] cuteness = {90.1, 84.3, 99.7};
// 使用create(String name)方法创建Table对象，使用addColumns(Column<?>...cols)方法向表中添加列
Table cuteAnimals = Table.create("Cute Animals").addColumns(
StringColumn.create("Animal types", animals),
DoubleColumn.create("rating", cuteness));
System.out.println(cuteAnimals.print());
11.导入数据
很多时候我们会直接从csv文件中导入数据，使用下面的语句可以很方便的从csv文件中读取一个Table对象，Tablesaw可以很好的猜测出每一列的类型，当它猜错类型或者是我们想要提高性能的时候可以指明类型。
Table bushTable = Table.read().csv("data/bush.csv");
System.out.println(bushTable.print());
12.浏览Tables
Tablesaw提供了一些方法，让帮助我们了解新数据集的结构，形状等信息。
Table的结构(列名，列类型)
Table bushTable = Table.read().csv("data/bush.csv");
System.out.println(bushTable.structure());
//Table的形状(rows*cols) System.out.println(bushTable.shape());
System.out.println(bushTable.first(3));
System.out.println(bushTable.last(3));
//Table的toString()方法也表示为上面那种表格的形式 Table bushTable = Table.read().csv("data/bush.csv"); // 默认只显示20rows,其他数据会省略; System.out.println(bushTable.toString()); // 我们可以使用printAll()来打印所有的数据 System.out.println(bushTable.printAll()); // 也可以使用print(int rowLimit)来指定打印的行数 System.out.println(bushTable.print(100));
13.处理表中的column
//构造表 Table table = Table.create("table").addColumns(IntColumn.create("col1", 1, 2, 3, 4, 5), IntColumn.create("col2", 2, 4, 6, 8, 0), IntColumn.create("col3", 3, 6, 9, 12, 13)); System.out.println(table); // 移除列 // 移除 名字为"col1"的列 table.removeColumns("col1"); System.out.println(table); // 只保留 名字为"col2"的列 table.retainColumns("col2"); System.out.println(table); // 添加列 table.addColumns(IntColumn.create("col4", 4, 8, 12, 16, 20)); System.out.println(table);
14.从table中获取特定类型的column
Table studentTable = Table.create("student").addColumns(IntColumn.create("id", 20200001, 20200002, 20200003, 20200004, 20200005),
StringColumn.create("name", "Jim", "Bob", "John", "lily", "lucy"));
// column(String colName)方法，通过列名获取指定列,不区分大小写
Column<?> idCol1 = studentTable.column("id");
System.out.println(idCol1.print());
// column(int colIndex)方法，通过索引获取指定列，索引从0开始
Column<?> idCol2 = studentTable.column(0);
System.out.println(idCol2.print());
// System.out.println(idCol1 == idCol2); // true
// 上面的方法返回的都是Column<?>类型，必要时需要转换成特定的类型
// 1.强制类型转换
IntColumn idCol3 = (IntColumn) studentTable.column("id");
// 2.使用numberColumn(),stringColumn()等方法
NumericColumn<?> idColumn = studentTable.numberColumn("id");
15.处理行
//删除行 Table studentTable = Table.create("student").addColumns(IntColumn.create("id", 20200001, 20200001, 20200002, 20200003, 20200004, 20200005), StringColumn.create("name", "Jim", "Jim", "Bob", "John", "lily", "lucy")); System.out.println(studentTable.print()); // drop...()方法不在原表上修改，而是先创建一个和原表结构一样的空表，然后把不需要删除的行放到新的而表中，然后返回新的表。 Table table1 = studentTable.dropDuplicateRows(); System.out.println(table1.print()); Table table2 = studentTable.dropWhere(studentTable.numberColumn(0).isLessThan(20200003)); System.out.println(table2); //增加行 // 修改原表 studentTable.addRow(0, studentTable);
16.随机抽样
Table table3 = studentTable.sampleN(3); System.out.println(table3.print()); //我们也可以对表中的行执行任意的操作 // 遍历表中的行，并执行操作 for (Row r : studentTable) { System.out.println("学号：" + r.getString(1) + ":" + r.getString(1)); } // 另外一种实现形式 studentTable.stream().forEach(row -> { System.out.println("学号：" + row.getString(1) + ":" + row.getString(1)); });
17.table排序
Table studentTable = Table.create("student").addColumns(IntColumn.create("id", 20200001,20200002, 20200003, 20200004, 20200005),
StringColumn.create("name", "Jim", "Bob", "John", "lily", "lucy"));
// 升序
studentTable = studentTable.sortOn("id", "name");// or sortAscendingOn("id","name");
System.out.println(studentTable.print());
// 降序
studentTable = studentTable.sortDescendingOn("id");
System.out.println(studentTable);
18.筛选
查询filter(过滤器)可以使用逻辑运算符or，and，not来组合，它们都在QuerySupport中实现，所以在使用前要先导入：
import static tech.tablesaw.api.QuerySupport.and; import static tech.tablesaw.api.QuerySupport.or; import static tech.tablesaw.api.QuerySupport.not; Table studentTable = Table.create("student").addColumns(IntColumn.create("id", 20200001, 20200002, 20200003, 20200004, 20200005), StringColumn.create("name", "Jim", "Bob", "John", "lily", "lucy"), IntColumn.create("age", 18, 18, 17, 16, 16)); Table result = studentTable.where(and(t -> t.numberColumn("id").isGreaterThan(20200001), t -> t.numberColumn("age").isEqualTo(18))); System.out.println(result);
19.join
//field tech.tablesaw.api.Table left = sourceConn.query(sql21, rs -> { return tech.tablesaw.api.Table.read().db(rs); }); log.info(left.printAll()); tech.tablesaw.api.Table right = sourceConn.query(sql2, rs -> { return tech.tablesaw.api.Table.read().db(rs); }); log.info(right.printAll()); // left.column("field").setName("col_name"); tech.tablesaw.api.Table result = left.joinOn("field").leftOuter(right,"col_name");
