随笔分类 - 撞坑日常
和技术无关,遇到一些小事都可以记录!
摘要:背景: 需要去监控某个网站,所以写了一个爬虫程序,被爬取的链接是Https,使得的是网上的代理,按ip使用量计费,该计费模式确实好用! 框架:httpClient 4.5.10 Java: Java 9 implementation 'org.apache.httpcomponents:httpcl
阅读全文
摘要:今天,自己开发的事件驱动的java大规模爬虫程序上线了几个新任务后突然异常。 异常: 程序业务异常,经查看CPU利用率满,内存满,一直报OOM,目测有内存泄露。如下图所示,四核16G的内粗,CPU高达400%,内存使用了 6G,刚好爆满,JVM启动参数为: 内存截图: 分析: 首先找java进程为1
阅读全文
摘要:项目一直使用grpc作为服务交互程序,其中我负责的java模块第一次引用该框架;当框架搭建好后,建立客户端代码,报错: 首先我们看下该异常的信息: 通常我们定位问题最好的方法是先了解异常的javadoc,异常名称最能体现大方向,根据文档我们可以知道,当你没有权限访问一个field或者方法的时候,通常
阅读全文
摘要:说来恼火,在网上找了半天没找到 原来插件名称其实不需要定义而是直接想象到的,如下,我尝试过了好几种 mvn plugin:goal 都没成功;从代码看goal已经没啥疑问了,就是compile,但哪个是plugin呢? 所以只需要执行 mvn protobuf : compile 就行了 但为什么m
阅读全文
摘要:启动Springboot项目报以下异常: 很明显是提示Application无法获取ServletWebServerFactory实例,首先要注意, 由于Springboot在以往使用Spring都要配置下提供了集成方案,所以最简单的方法就是采用默认的配置,解决方法非常简单,只需在你的启动类中加入@
阅读全文
摘要:构件 BeanDefinition:Class只描述了类的信息,而BeanDefinition描述了对象的信息,如:@Scope、@Lazy、@DependsOn; Spring在启动的时候需要「扫描」在XML/注解/JavaConfig 中需要被Spring管理的Bean信息 beanDefini
阅读全文