摘要： 一、安装插件： Pretty Formatter Windows上的Visual Studio代码 - Shift+ Alt+F 二、关闭文件自动化保存 菜单文件 → 首选项 → 工作区设置 { // Controls if the editor should automatically forma 阅读全文

摘要： 1、kettle 下载地址 9.2版本 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 2、mysql8.0驱动下载 网站 https://dev.mysql.com/downloads/file/?id=4949 阅读全文

摘要： 1、kettle 版本 下载地址： https://sourceforge.net/projects/pentaho/files/latest/download 不好下载的评论回复 我传百度网盘上 2、sqlserver驱动下载地址 https://www.microsoft.com/en-us/d 阅读全文

摘要： select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNION ALL select '小丽' as name,2 as v ) t group by t.name with ROLLUP with ROLLUP 阅读全文

摘要： 我们在写Sql语句的时候没经常会遇到将查询结果行转列，列转行的需求，拼接sql字符串，然后使用sp_executesql执行sql字符串是比较常规的一种做法。但是这样做实现起来非常复杂，而在SqlServer2005中我们有了PIVOT/UNPIVOT函数可以快速实现行转列和列转行的操作。 PIVO 阅读全文

摘要： 于新版本的Python中引入了关键字async，所以在安装好pyspider库之后运行pyspider all 会报错，如下图所示（他人的图）。 解决方法：按照报错的路径，找到anaconda\lib\site-packages\pyspider，进入后将run.py中的async查找，全部替换为a 阅读全文

摘要： how-to-fix-java-io-notserializableexception-org-apache-kafka-clients-consumer The Kafka Consumer record object is received from Dstream. When you try 阅读全文

摘要： 采集层 主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics 阅读全文

摘要： 查询了相关资料后，并做了基本测试，确认.map(_._2)的含义如下 map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)val p=List((“hello”,35,1.50),(“nihao”,36,1.78))res9: List[(String, In 阅读全文

摘要： 比如我的内存中存在如下的以key-value形式的数据集（RDD）： hello:1 sparkSubmit:1 red:1 sparkSubmit:1 hello:2 hello:1 hello:4 red:1 red:1 red:1 ... ... reduceByKey的作用对象是(key, 阅读全文