摘要:
"访问我的博客" 前言 开发新功能时,经常会遇到在本地环境运行没问题,但是部署到了 Linux 服务器上跑的时候就出现问题这种情况;还有一种情况是需要定位线上问题,这两种情况以前的做法就是加 log 日志输出,总是不能精准定位问题所在,如果能够像本地环境一样调试代码,那这个问题也就迎刃而解了。 <! 阅读全文
摘要:
"访问我的博客" 前言 微信官方规定是不允许诱导关注的,所以强制关注就更加不可能的,但是道高一丈魔高一丈,总是有各种对策来绕过这些规定。 比如笔者所在的公司行业,有公司开发功能进行推广小说,访问推广链接后,阅读到某一章时,弹出二维码才能继续阅读,其实这里就是变相的微信公众号强制关注了。关注他的二维码 阅读全文
摘要:
"访问我的博客" 前言 从去年到今年,笔者主要负责的是与合作方的内容对接,新增的合作商不是很多的情况下,在我自从去年引入了 WebMagic 这个爬虫框架之后,基本很少需要去关注维护爬虫,做的最多的是新接入合作商去写对应爬虫抓取模板。 因为在代码中实现了增量抓取,单机也足以承担日常的抓取工作。 在前 阅读全文
摘要:
"访问我的博客" 前言 排行榜作为互联网应用中几乎必不可少的一个元素,其能够勾起人类自身对比的欲望,从而来增加商品的销量。排行榜的实现方式基本大同小异,大部分都基于 Redis 的有序集合 sorted set 来实现。不久前,负责开发一个活动,就有排行榜这个需求,笔者也使用 Redis 进行了实现 阅读全文
摘要:
"访问我的博客" 前言 在工作中,经常会遇到从一串 JSON 中提取一个或多个字段的情况,常用的做法就是将其反序列化为 JSONObject 对象,然后从对象中获取,如果是 JSONArray 就进行迭代获取,总之比较麻烦。可以使用 JsonPath 快速提取所需信息。 <! more JSONPA 阅读全文
摘要:
"访问我的博客" 前言 通过上一篇文章,想必你已经掌握了如何正确安装抓包神器 Charles,如果还是抓不了包,可以再看看。 今天要做是抓包实战,因为我在做网络文学的公司就职,所以就拿网络文学的 APP 掌阅 开刀好了,以下进入抓包实战,体会 Charles 的强大之处!。 掌握了下面的抓包技巧,对 阅读全文
摘要:
"访问我的博客" 前言 在今年二月份在项目中引入了 WebMagic 技术,用来抓取合作方的书籍,详见之前文章: "WebMagic之爬虫监控" ,这两天新接入了一个合作商,对方接口采取的是 HTTPS 协议,而以前合作商的接口全都是 HTTP 的,在接入这家合作商的时候,发现了问题,只要是 HTT 阅读全文
摘要:
"访问我的博客" 前言 这几日,由于遭到他人的恶意投诉举报,导致了微信中阅读业务的根域名被屏蔽,提示 由于我司是做网络文学的,作者的内容中不可避免地会出现些微露骨的内容,但是这些内容是经过了编辑审核之后才公开的,也不至于太露骨,但举报就被封禁了。 公司的用户有很多是通过微信公众号进行阅读,这一封,就 阅读全文
摘要:
"访问我的博客" 前言 由于工作中经常需要配置客户端开发人员对接接口,有时候对接地不太顺利,因此需要经常性地对公司 APP 进行抓包看请求,找出具体的原因。 在公司中开发使用的 Windows 台式电脑,抓包工具选择了 Fiddler,这个工具刚开始学会抓包的时候,觉得真乃神器!在经过几次开发电脑升 阅读全文
摘要:
"访问我的博客" 前言 年前闲着无聊,研究了一阵子爬虫技术,接触到爬虫框架 "WebMagic" ,感觉很好用。 在之后的工作中,接手了新站与第三方接口对接的工作,主要的工作是去抓取对方接口的内容;初始的时候,之前负责该工作的同事,是手动使用多线程去抓取,在应用的过程当中暴露了不少问题。比如对于接口 阅读全文
摘要:
"访问我的博客" 前言 最近遇到了跨域问题,结合之前【微信支付开发本地接收异步通知回调】的经验,利用 Nginx 实现了跨域。 公司之前为了解决跨域问题,用的是 iFrame,反正对于只做后端的我而言,觉得很复杂,但是现在利用 nginx 如此简单就实现了跨域,感觉还挺有成就感,哈哈! <! mor 阅读全文
摘要:
"访问我的博客" 前言 之前在学习 SpringBoot 框架的时候,使用到了 SpringData JPA,但是当时只是简单的查询,没有用到稍微复杂的查询。 JPA 的 JPQL 语法规则对于简单的查询实属利器,大大加快了开发速度。不久前,在公司将用户推荐功能单独抽取出为一个独立项目,由于公司一直 阅读全文
摘要:
"访问我的博客" 前言 最近在调试微信相关的接口,但是由于微信官方出于安全的考虑,对于调用接口的域名有限制。微信授权与微信支付统一下单接口在本地可以通过更改 host 的方式来调试,微信服务器也能跳转回来,但是微信支付异步通知这里;微信官方强制让设置支付授权目录,且是通过 ICP 备案的域名,因此不 阅读全文
摘要:
"访问我的博客" 前言 博主目前在一家原创小说网站公司工作,由于站内的作品全部是原创,于是乎不可避免地会被一些盗版网站爬取盗版,对于防盗版一直没有很好的对策,让公司很是苦恼。 最近去一些盗版网站上搜索我们网站作品时,发现他们所用的封面图片的来源是我们网站的地址,即所谓的盗链,这对于我们网站服务器的带 阅读全文
摘要:
"访问我的博客" 前言 本文介绍利用 nginx 的 nginx_ngx_cache_purge 模块来实现缓存功能,前几篇文章介绍了 Nginx 的动静分离以及 CDN 技术,在其基础上,再对整个页面进行缓存,将大大提高服务器的负载能力。 基础环境 "CentOS 6.8 minimal" "Ng 阅读全文
摘要:
"访问我的博客" 前言 前文介绍了利用 nginx 的 nginx_ngx_cache_purge 模块来实现缓存功能,并设置了缓存时间为一天。 但是如果前端修改了页面,比如首页,由于 Nginx 缓存的存在,网站首页并不会立即生效,而是要等到缓存过期。这样明显不是我们想要的结果,所以需要进行手动使 阅读全文
摘要:
"访问我的博客" 前言 最新公司新开了一个项目,项目由我来配置基础环境,会写一系列的教程来展示,一个网站从零到上线的整个过程。首先本文介绍资源文件的隔离。 <! more 为什么要实现动静分离 为什么要将静态资源文件与动态请求进行分离? 为了降低 Tomcat 服务器的负载,可以通过本文设置并结合 阅读全文
摘要:
"访问我的博客" 之前在网上找 CentOs 的镜像的时候,发现了阿里云的这个镜像源,速度蛮快的。今天也来搭建一个类似的站,使用 nginx 作为资源下载服务器。 <! more 图片详情: 安装 Nginx "参考这篇教程的 Nginx 环境搭建部分" 设置资源存储路径 1、 资源准备 在 hom 阅读全文
摘要:
"访问我的博客" 前言 最近遇到项目需求需要将数据库中的部分数据导出到 word 中,具体是在一个新闻列表中将选中的新闻导出到一个 word 中。参考了网上一些教程,实现了该功能,在此记录下来。 <! more 导出结果如下: 图中为导出的其中两条新闻。 搜索网上导出 word 的方式有很多种,但是 阅读全文
摘要:
"访问我的博客" 前言 集群应用的配置文件如果写在项目的 resources 目录下面,当遇到需要修改某一个配置值时,需要将集群的所有应用的配置信息进行修改,并且将机密的配置信息比如数据库账号密码如果不进行加密配置在项目中很危险,一旦发生代码泄露问题,后果很严重。 为了避免上述情况发生,将配置信息存 阅读全文