bug_x - 博客园

kettle9.2 mysql8.0 链接 JDBC连接MySQL报错Unknown system variable 'query_cache_size'

摘要： 1、kettle 下载地址 9.2版本 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 2、mysql8.0驱动下载网站 https://dev.mysql.com/downloads/file/?id=4949 阅读全文

posted @ 2021-09-10 14:31 bug_x 阅读(993) 评论(0) 推荐(0) 编辑

kettle9.2 sqlserver 驱动 The server selected protocol version TLS10 is not accepted by client preferences [TLS12]

摘要： 1、kettle 版本下载地址： https://sourceforge.net/projects/pentaho/files/latest/download 不好下载的评论回复我传百度网盘上 2、sqlserver驱动下载地址 https://www.microsoft.com/en-us/d 阅读全文

posted @ 2021-09-10 10:18 bug_x 阅读(631) 评论(1) 推荐(0) 编辑

with rollup

摘要： select coalesce(t.name,'总'),sum(t.v) from (select '小丽' as name,1 as v UNION ALL select '小丽' as name,2 as v ) t group by t.name with ROLLUP with ROLLUP 阅读全文

posted @ 2021-09-09 15:15 bug_x 阅读(64) 评论(0) 推荐(0) 编辑

sqlserver 行列转换

摘要：我们在写Sql语句的时候没经常会遇到将查询结果行转列，列转行的需求，拼接sql字符串，然后使用sp_executesql执行sql字符串是比较常规的一种做法。但是这样做实现起来非常复杂，而在SqlServer2005中我们有了PIVOT/UNPIVOT函数可以快速实现行转列和列转行的操作。 PIVO 阅读全文

posted @ 2021-09-03 18:23 bug_x 阅读(439) 评论(0) 推荐(1) 编辑

pyspider all 报错解决方法

摘要：于新版本的Python中引入了关键字async，所以在安装好pyspider库之后运行pyspider all 会报错，如下图所示（他人的图）。解决方法：按照报错的路径，找到anaconda\lib\site-packages\pyspider，进入后将run.py中的async查找，全部替换为a 阅读全文

posted @ 2021-04-02 14:05 bug_x 阅读(399) 评论(0) 推荐(0) 编辑

scala spark streaming 打印kafka 数据

摘要： how-to-fix-java-io-notserializableexception-org-apache-kafka-clients-consumer The Kafka Consumer record object is received from Dstream. When you try 阅读全文

posted @ 2020-12-30 20:14 bug_x 阅读(404) 评论(0) 推荐(0) 编辑

Kafka 与 Flume 如何选择

摘要：采集层主要可以使用Flume, Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API. Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics 阅读全文

posted @ 2020-12-29 10:31 bug_x 阅读(153) 评论(0) 推荐(0) 编辑

Scala map中下划线_._2的含义

摘要：查询了相关资料后，并做了基本测试，确认.map(_._2)的含义如下 map(_._n)表示任意元组tuple对象,后面的数字n表示取第几个数.(n>=1的整数)val p=List((“hello”,35,1.50),(“nihao”,36,1.78))res9: List[(String, In 阅读全文

posted @ 2020-12-28 16:48 bug_x 阅读(431) 评论(0) 推荐(0) 编辑

Spark中reduceByKey(_+_)的说明

摘要：比如我的内存中存在如下的以key-value形式的数据集（RDD）： hello:1 sparkSubmit:1 red:1 sparkSubmit:1 hello:2 hello:1 hello:4 red:1 red:1 red:1 ... ... reduceByKey的作用对象是(key, 阅读全文

posted @ 2020-12-28 14:04 bug_x 阅读(226) 评论(0) 推荐(0) 编辑

spark 内存设置

摘要： val spark = SparkSession .builder.master("local").config("spark.testing.memory", "2147480000") .appName("HdfsTest") .getOrCreate() val spark = SparkSe 阅读全文

posted @ 2020-12-24 14:17 bug_x 阅读(497) 评论(0) 推荐(0) 编辑

导航

2021年9月10日

2021年9月9日

2021年9月3日

2021年4月2日

2020年12月30日

2020年12月29日

2020年12月28日

2020年12月24日