乌云散尽

摘要： 天气预警信息与某地热榜车排名 import scrapy import time import json import copy class WeatheralarmSpider(scrapy.Spider): name = 'WeatherAlarm' allowed_domains = ['we 阅读全文

摘要： http请求hutool,json转换 数据写入到rdd，之后转换为sparksql SparkSession spark = SparkSession.builder().master("yarn").appName("json2hive") .config("hive.exec.dynamic. 阅读全文

摘要： hive写入star，csv格式的streamload 注意字符串中的转移字符直接拼接\n而要显示\\是非转义字符 public class GcyDataTrans { private static String STARROCKS_HOST = "IP"; private static Stri 阅读全文

摘要： 安装scrapyd服务 pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档 安装 pip install scrapyd-client 官方文档 scrapy-deploy 部署建setup.py from set 阅读全文

摘要： insertInto必须保证源表字段顺序和hive表字段顺序一致，不然会插入乱序，如果字段数不一致，会报错 saveAsTable append模式下，如果字段数不一致，会报错，overwrite模式下，会重建表 如果是外部表，已经存在了数据，saveAsTable会报错 org.apache.sp 阅读全文

摘要： 本地调用三方包，日志信息很关键，log4j有多种日志级别 Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制 阅读全文

摘要： Oracle表字段和备注信息获取 select a.OWNER as table_schema, a.TABLE_NAME as table_name, d.COMMENTS as tale_comments, a.COLUMN_NAME as column_name, a.COLUMN_ID as 阅读全文

摘要： javac是编译命令 javac A.java -d dirclass -encoding utf-8 javac -classpath/-cp 依赖包的路径，需要用:拼接起来，例如 eg javac -cp spark_2.11.jar;flink_1.12.jar B.java -d /test 阅读全文

摘要： #### 固定套路总结输出吧 hutool和apache的httpclient ``` import cn.hutool.http.HttpRequest; import cn.hutool.http.HttpResponse; import cn.hutool.http.HttpUtil; imp 阅读全文

摘要： 目的是为了解析视图中的表名，构建血缘关系，下面是入门的demo Calcite解析 有不能解析出来的情况，需要进一步了解javacc， Jsqparser解析，都能正常解析，然而面对复杂子查询，效率很低 ``` 使用Calcite解析 package sqlparser; import org.ap 阅读全文