03 2020 档案
摘要：通过上文 Window7 开发 Spark 应用 ,展示了如何开发一个Spark应用，但文中使用的测试数据都是自己手动录入的。 所以本文讲解一下如何搭建一个开发闭环，本里使用了Nginx日志采集分析为例，分析页面访问最多的10个,404页面的10。 如果把这些开发成果最终展示到一个web网页中，在这
阅读全文
摘要：WordCount是大数据学习最好的入门demo，今天就一起开发java版本的WordCount，然后提交到Spark3.0.0环境运行； 版本信息 OS： Window7 JAVA：1.8.0_181 Hadoop：3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2
阅读全文
摘要：本文目的是根据前文的博文，打造一个Hadoop、Sprak的服务器闭环。也是经验归纳。 版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64
阅读全文
摘要：版本信息 CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux JDK: Oracle jdk1.8.0
阅读全文
摘要：CentOS: Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux JDK: Oracle jdk1.8.0_241
阅读全文
摘要：环境： SpringFramework：4.3.5.RELEASE apollo-client：1.5.1 1.在项目的 resources/META-INF/ 目录下添加 app.properties 文件： #Apollo配置id app.id = phpdragon-demo apollo.b
阅读全文
摘要：1.申请一个开发测试号： 点击这里跳转申请 ，扫码登陆后即可。 2.设置 接口配置信息，注意。这里会要求你有一个已经准备好的外网个人服务器，微信服务器会访问你配置的URL，无法访问并验签，会提交不了。 这时请调整程序中 WeChatConfig 中的密钥等配置，把你生成好的随机字符串token填入到
阅读全文
摘要：代码参考： import com.phpdragon.wechat.proxy.config.WeChatConfig; import com.phpdragon.wechat.proxy.dto.mp.user.GetOauthUserInfoDto; import com.phpdragon.w
阅读全文
摘要：Java： import com.phpdragon.wechat.proxy.config.WeChatConfig; import lombok.extern.slf4j.Slf4j; import me.chanjar.weixin.common.bean.WxJsapiSignature;
阅读全文
摘要：大概流程： 1. 通过 https://域名/auth/getOauthUrl 获取到auth2.0的授权跳转地址（也就是微信公众号跳转菜单绑定的链接）。 如何添加菜单请参考代码：WxMenuController.java。 核心代码就是 wxMpService.oauth2buildAuthori
阅读全文
摘要：Maven： Feign 版本10.1.0 Spring 版本 5.1.5.RELEASE SpringBoot 版本 2.1.5.RELEASE SpringCloud 版本 2.1.1.RELEASE Weixin-java 版本 3.7.0，链接 <dependency> <groupId>c
阅读全文
摘要：OS: Centos 7 3.10.0-862.el7.x86_64 MySQL: 5.6.29-log 背景: 开发环境被多人使用，有时候为出现故障导致大多数人无法使用数据库，严重影响开发节奏。故做一个数据备份和结构备份机制。用于快速恢复开发环境MySQL。 一、主从设置 1.安装MySQL 下载
阅读全文
摘要：为了方便开发同学，用Python写了一个POST请求发送可执行脚本，方便那些不能使用postman等使用的局域网。当然可以使用CURL命令、用PHP写一个也未尝不可，但并不具备跨平台性。 当然也可以使用go进行开发。废话不多说，show me code。 原理： 获取到 Linux 系统配置的 ap
阅读全文
摘要：OS: CentOs7 MySQL： 5.7.26-log 开发环境数据库mysql运行一段时间了，突然出现了异常：启动mysql后随即就又关闭了，mysql服务启动失败！ 查看mysql错误日志如下： 分析日志后发现，数据库无法重启的原因是因为ibdata1文件 (即共享表空间) 损坏，重启后无法
阅读全文
摘要：异常原因：如果密钥大于128, 会抛出java.security.InvalidKeyException: Illegal key size 异常. 因为密钥长度是受限制的, java运行时环境读到的是受限的policy文件. 文件位于${java_home}/jre/lib/security, 这
阅读全文
摘要：环境： Mac 10.15.3 (19D76) Python 3.6.8：https://www.python.org/ftp/python/3.6.8/python-3.6.8-macosx10.9.pkg TensorFlow: 2.1.0 1.下载安装Python安装包，打开pkg并安装。 w
阅读全文
摘要：使用nginx代理mysql连接有个好处就是，如果做了容灾处理的话, 可以瞬间平滑切换到可用服务上。 1. vi /etc/nginx/nginx.conf ,在 http{} 结构体外(也就是文件末尾)添加如下配置： stream { upstream cloudsocket { hash $re
阅读全文
摘要：背景：对接第三方接口，第三方为安全考虑，需要固定ip设置白名单。公司对外使用动态ip。 办法： 1. 购买一台ip固定的服务器，比如云虚拟服务器。搭建http代理服务器，比如prioxy。 2.安装Privoxy代理软件 yum install -y epel-release privoxy 编辑
阅读全文
