Spark:scala集合转化为DS/DF
scala集合转化为DS/DF
1 case class TestPerson(name: String, age: Long, salary: Double) 2 val tom = TestPerson("Tom Hanks",37,35.5) 3 val sam = TestPerson("Sam Smith",40,40.5) 4 val PersonList = mutable.MutableList[TestPerson]() 5 PersonList += tom 6 PersonList += sam 7 8 val personDS = PersonList.toDS() 9 println(personDS.getClass) 10 personDS.show() 11 12 val personDF = PersonList.toDF() 13 println(personDF.getClass) 14 personDF.show() 15 personDF.select("name", "age").show()
输出结果:
class org.apache.spark.sql.Dataset +---------+---+------+ | name|age|salary| +---------+---+------+ |Tom Hanks| 37| 35.5| |Sam Smith| 40| 40.5| +---------+---+------+ class org.apache.spark.sql.DataFrame +---------+---+------+ | name|age|salary| +---------+---+------+ |Tom Hanks| 37| 35.5| |Sam Smith| 40| 40.5| +---------+---+------+ +---------+---+ | name|age| +---------+---+ |Tom Hanks| 37| |Sam Smith| 40| +---------+---+
参考资料:
https://stackoverflow.com/questions/39397652/convert-scala-list-to-dataframe-or-dataset
基础才是编程人员应该深入研究的问题,比如:
1)List/Set/Map内部组成原理|区别
2)mysql索引存储结构&如何调优/b-tree特点、计算复杂度及影响复杂度的因素。。。
3)JVM运行组成与原理及调优
4)Java类加载器运行原理
5)Java中GC过程原理|使用的回收算法原理
6)Redis中hash一致性实现及与hash其他区别
7)Java多线程、线程池开发、管理Lock与Synchroined区别
8)Spring IOC/AOP 原理;加载过程的。。。
【+加关注】。