12 2020 档案
摘要:Spring 5.x版本 001、依赖包 Spring的各包之间相互依赖,导入这一个包就可以包Spring的基本几个包同时引入。 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artif
阅读全文
摘要:Mybatis是一个ORM框架,通常作为SSM中的M,可以与Spring集成搭建相应的项目。 001、依赖 <dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</artifactId> <version>x.x.x</ver
阅读全文
摘要:Scala是一门多范式的编程语言,静态类型、整合面向对象和函数式语言的功能。 Scala被编译后在Java虚拟机上运行,兼容Java语言。 一、Hello World Scala运行在JVM上,需要有Java的支持,可以在交互模式下运行。 0、Hello World 1、直接在命令行下输入scala
阅读全文
摘要:环境准备 flink-1.10.0-bin-scala_2.11.tgz(Flink 1.10) Ubantu 18.04 scala 2.11.x Jdk1.8+ IDEA/Eclipse开发工具 Flink 是一个分布式的流处理框架,它能够对有界和无界的数据流进行高效的处理。Flink 的核心是
阅读全文
摘要:js是动态的、弱类型的、解释型、多用于浏览器的脚本语言。 用于服务端的node.js. 浏览器端的js可以调用浏览器的各种对象,可以进行Dom/BOM操作。 服务端的js可以进行io、调用数据库等操作。 ECMAScript是一种规范,JS实现了该规范,前后端都适用。 TypeScript是一种在J
阅读全文
摘要:Flume 1.6.0 Flume简介 Apache Flume 是一个分布式,高可用的数据收集系统。它可以从不同的数据源收集数据,经过聚合后发送到存储系统中,通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本,NG 在 OG 的基础上进行了完全的重构,是目前使用最
阅读全文
摘要:SparkSQL是Spark的一个子模块,主要用于操作结构化数据,借鉴了Hive。 此前使用的是SparkCore模块的RDD结构进行数据处理,SparkSQL提供了结构化的数据结构DataFrame、DataSet。 SparkSQL支持SQL、DSL(domain-specific langua
阅读全文
摘要:sqlite3 import sqlite3 # 创建数据库连接 conn = sqlite3.connect("wucai.db") # 获取游标 cur = conn.cursor() # 创建数据表 cur.execute("CREATE TABLE IF NOT EXISTS heros (
阅读全文
摘要:1、File操作 Python使用open函数可以打开一个文件。 如使用open函数打开"a.txt",打开权限是只读。使用该函数会返回一个对象,通过该对象可以调用一系列文件操作的方法。 file=open("a.txt","r") data=file.readline() print(data)
阅读全文
摘要:Python科学计算库Numpy NumPy(Numerical Python) 是 Python 语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 1、简介 Numpy是常用的科学计算库。 NumPy 最重要的一个特点是其 N 维数组对象 ndarray
阅读全文
摘要:处理数据常用的语言,使用基本的api处理一个wordcount 读取文件,找出单词(转大写)出现次数,并排序,获取TopK数据。 scala语言 def main(args: Array[String]): Unit = { //读取文件 val source: BufferedSource = S
阅读全文