06 2021 档案
摘要：概述 form表单传输到后端的数据，需要经过校验，前端的JS校验虽然可以涵盖大部分的校验职责，如生日格式，邮箱格式校验等。但是为了避免用户绕过浏览器，使用http/curl等工具直接向后端请求一些违法数据，造成安全事故，故服务端的数据校验显得更为重要。 JSR303/JSR349/JSR380 JS
阅读全文
摘要：概述 零拷贝，zero-copy， Zero-copy describes computer operations in which the CPU does not perform the task of copying data from one memory area to another.
阅读全文
摘要：概述 使用Java语言，实现网页截图。本文仅考虑Selenium方案，如果对其他方案感兴趣，可参考Java实现HTML页面截图功能 实现 大名鼎鼎的自动化测试工具，引入最新稳定版依赖： <dependency> <groupId>org.seleniumhq.selenium</groupId> <
阅读全文
摘要：概述 官网。Cloudera开源的Flume通过简单的配置收集不同数据源的海量数据并将数据准确高效地传输到不同的中心存储。 一种提供高可用、高可靠、分布式海量日志采集、聚合和传输的系统，支持在日志系统中定制各类数据发送方，用于采集数据；同时提供对数据进行简单处理，并写到各种数据接收方的能力，即Flu
阅读全文
摘要：概述 在FeignClient中，可以通过制定fallback，实现在服务不可用时自动调用fallback指定定的处理方法。 启动类 @EnableDiscoveryClient @EnableFeignClients @EnableFeignInterceptor @SpringBootAppli
阅读全文
摘要：概述 持续集成必备工具。 安装 启用Jenkins存储库。运行以下命令下载并导入GPG密钥： wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo 输出： 已保存 “/et
阅读全文
摘要：概述 最近在做的一个需求就是视频检测，通过使用百度的MCA媒体内容分析这一个视频检测产品来做的。 我们的产品暂时有一个限制就是：用户上传的视频长度不能超过10分钟。而视频是前端上传到阿里云OSS的，然后拿着这个阿里云OSS视频URL扔给百度，提交给百度去做视频分析。 需求细化：给定一个在线URL视频
阅读全文
摘要：概述 在数据处理中，经常遇到的一个数据类型就是JSON，MySQL数据库解析JSON，参考MySQL 5.7 JSON函数学习， MySQL json_merge with group by。 在大数据执行引擎Hive中，我们也经常会遇到JSON解析的场景。 实战 get_json_object、j
阅读全文
摘要：概述 Apache官网：https://oozie.apache.org/ Oozie文档：http://blog.cloudera.com/blog/category/oozie/ Oozie是一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，它能够提供对MR和Pig Job
阅读全文
摘要：概述 工作以来反复遇到的一个问题，即git clone需要输入密码，每次都是现学（查）现用，临时查百度搜Google，网上文章参差不齐，着实浪费不少时间。再者，今天才知道存在两种不同情况，不能瞎百度： HTTP/HTTPS Linux 在Linux环境下使用http/https协议clone/pul
阅读全文
摘要：概述 背景：由于服务器更新，需要把部署在A服务器的GitLab仓库迁移到B服务器上面。 实战 GitLab仓库地址从http://192.168.20.149:8090/迁移到http://192.168.0.149:8090/。背景知识：项目信息在.git/config文件有所显示。先查看一下原始
阅读全文
摘要：概述 WebFlux对于数据库操作的支持，尤其是函数式CRUD编程。 实例 直入主题，引入依赖Spring Data Reactive MongoDB。配置文件： spring.data.mongodb.port=27017 spring.data.mongodb.host=127.0.0.1 sp
阅读全文
摘要：概述 术业有专攻，Java适合做企业级平台应用，或者云计算，大数据相关平台等。Python则擅长于小工具应用。 两种方式 Runtime 根据有无入参 无入参 public static void testPythonWithRuntime() { Process proc; try { proc
阅读全文
摘要：概述 官网，GitHub，下载地址 简介： 一个基于webkit的JS API。它使用QtWebKit作为它核心浏览器的功能，使用webkit来编译解释执行JS代码。任何你可以在基于webkit浏览器做的事情，它都能做到。它不仅是个隐形的浏览器，提供诸如CSS选择器、支持Web标准、DOM操作、JS
阅读全文
摘要：概述 需求背景： 有时一组数据只返回一组值不能满足需求，如经常想知道各个地区的前几名、各个班或各个学科的前几名。这时候需要每一组返回多个值。 2003 年 ISO SQL 标准加入开窗函数，目前在 MS SQLServer、Oracle、DB2等主流数据库中都提供对开窗函数的支持，不过MySQL暂时
阅读全文
摘要：概述 在做Java实现HTML页面截图功能时，Linux系统生成的文件通过MobaXterm这么一款SSH工具下载到本地Windows时，总是报错： 但是这个文件在Linux服务器里面确实是存在的。仔细对比文件名，才发现文件名里面还有一个|字符，下载到Windows时失败。 失败的原因（直接抛出结论
阅读全文
摘要：概述 在做 命令 安装： yum -y install google-chrome-stable --nogpgcheck 更新： 实际上使用上面的安装命令，会自动检查系统当前安装的版本号，并升级到最新版。 卸载： yum remove google-chrome-stable.x86_64 -y
阅读全文
摘要：概述 参考Java实现HTML页面截图功能，在使用Selenium对HTML页面进行截图时，一段没有任何问题的代码，在Windows环境下执行成功，但放到使用很久的测试环境Linux服务器也没有问题，但是部署到刚申请不久的阿里云生产Linux服务器里，截图效果如下： 初一看一脸懵逼，怎么会这个样子？
阅读全文
摘要：概述 起因：在使用Selenium实现截图时，发现API有三种方式生成截图： byte[] img = driver.getScreenshotAs(OutputType.BYTES); String img = driver.getScreenshotAs(OutputType.BASE64);
阅读全文
摘要：背景 在使用Java代码生成csv文件时，使用Notepad++/Sublime Text之类的文本编辑器打开是没有问题，但可视化效果不好，故而考虑使用Excel打开，可是却出现乱码问题。 注：后来在启动一个应用时，也遇到也个乱码问题，参考IDEA + Tomcat 8.5中文乱码解决过程，是某个H
阅读全文
摘要：概述 前置文章Servlet基础知识 Servlet容器 Tomcat Jetty Jetty的定位：Servlet容器和HTTP服务器（Servlet Engine and HTTP Server）。eclipse下项目。 Jetty目录结构，基本上可以和tomcat一一对应： bin：可执行脚本
阅读全文
摘要：概述 业务开发中，经常会有HTML页面截图，或打印另存为PDF文件的需求。本文即是HTML页面截图需求的技术调研过程的成文。不想看长篇大论的同学，可以直接看Selenium部分，本人最后也是采取此方案。 html2canvas 直接上代码： const canvas = function () {
阅读全文
摘要：概述 pip是最常用的python包管理工具，类似于Java的maven。 常用命令 下载指定版本的包 pip install twisted==13.1.0 升级pip python -m pip install --upgrade pip easy_install、pip、pip3 easy_i
阅读全文