乌云散尽

摘要： 可以实际使用的 public static void main(String[] args) { // 身份认证 Session session = authorUser(); // 收件人电子邮箱 String from = "邮箱"; // 发件人电子邮箱 String to = "邮箱"; s 阅读全文

摘要： 以往的印象里面，实现附件上传需要有附件在磁盘里面存在（可能是见识浅薄），想着怎么去优化一下，避免落盘，就引入了这种方式，实现很容易，只是没有实践过，实践导致认知限制 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifact 阅读全文

摘要： 1. 核心概念理解 #location匹配命令 # ~ 表示执行一个正则匹配，区分大小写 # ~* 表示执行一个正则匹配，不区分大小写 # ^~ 表示普通字符匹配，如果该选项匹配，只匹配该选项，不匹配别的选项，一般用来匹配目录 # = 进行普通字符精确匹配 # @ 定义一个命名的location，使 阅读全文

摘要： 天气预警信息与某地热榜车排名 import scrapy import time import json import copy class WeatheralarmSpider(scrapy.Spider): name = 'WeatherAlarm' allowed_domains = ['we 阅读全文

摘要： http请求hutool,json转换 数据写入到rdd，之后转换为sparksql SparkSession spark = SparkSession.builder().master("yarn").appName("json2hive") .config("hive.exec.dynamic. 阅读全文

摘要： hive写入star，csv格式的streamload 注意字符串中的转移字符直接拼接\n而要显示\\是非转义字符 public class GcyDataTrans { private static String STARROCKS_HOST = "IP"; private static Stri 阅读全文

摘要： 安装scrapyd服务 pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档 安装 pip install scrapyd-client 官方文档 scrapy-deploy 部署建setup.py from set 阅读全文

摘要： insertInto必须保证源表字段顺序和hive表字段顺序一致，不然会插入乱序，如果字段数不一致，会报错 saveAsTable append模式下，如果字段数不一致，会报错，overwrite模式下，会重建表 如果是外部表，已经存在了数据，saveAsTable会报错 org.apache.sp 阅读全文

摘要： 本地调用三方包，日志信息很关键，log4j有多种日志级别 Log4j有三个主要的组件：Loggers(记录器)，Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别，日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别，并可以在运行时控制 阅读全文

摘要： Oracle表字段和备注信息获取 select a.OWNER as table_schema, a.TABLE_NAME as table_name, d.COMMENTS as tale_comments, a.COLUMN_NAME as column_name, a.COLUMN_ID as 阅读全文