04 2020 档案
摘要:最近,使用Jsoup爬取数据发现有的网站当你用自己的电脑爬取数据,次数多的时候就会发现本地的电脑就会连不上,原因是本地IP被限制或者拦截了。 因此,自己也找了一些资料,发现爬取数据的时候可以设置代理Ip,这样就不会发生本地Ip被封掉的危险了。代码如下: //设置代理Ip System. getPro
阅读全文
摘要:今天碰到了一个莫名奇妙的错误异常,异常如下: 首先,我第一感觉就是jdbc.properties配置问题,如图: 仔细检查,发现我的配置是没有问题的,同时为了验证配置的正确性,我还特地在idea里面连接配置上面的数据库,如图: 很明显,配置连接数据库是没有问题,但是这个问题是怎么跑出来的呢? 原来,
阅读全文
摘要:一、初始化数据 我们在做测试的时候经常需要初始化导入一些数据,如何来处理呢?会有两种选择,一种是使用Jpa,另外一种是Spring JDBC。两种方式各有区别下面来详细介绍。 1.使用Jpa 在使用spring boot jpa的情况下设置spring.jpa.hibernate.ddl-auto的
阅读全文
摘要:1、 数据库的命名 Acitiviti数据库中表的命名都是以ACT_开头的。第二部分是一个两个字符用例表的标识。此用例大体与服务API是匹配的。 l ACT_RE_*:’RE’表示repository。带此前缀的表包含的是静态信息,如,流程定义,流程的资源(图片,规则等)。 l ACT_RU_*:’
阅读全文
摘要:一、 安装Activiti插件 1. 首先打开FIle的setting功能,搜索Plugins: 2. 输入actiBPM,然后点击搜索: 3. 点击安装、应用: 安装好之后点击apply(应用),之后重启idea 二、 创建Activiti工作流并导出流程图图片 1. 重启IDEA之后,点击Fil
阅读全文
摘要:WebCollector自带一个Proxys类,通过Proxys.nextRandom()方法可以随机获取加入的代理。 通过Proxys.add(“ip”,”端口号”);添加代理。 如果本机也参与http请求,可用Proxys.addEmpty()方法将本机加入。 覆盖Crawler的getResp
阅读全文
摘要:一、爬取URL链接是get请求 比如: 这是taptap游戏厂商排行榜网,现在就可以使用OkHttpClient根据这个url爬取到json的字符串 代码如下: 接下来就简单了,使用JSON转化将result转化为实体类, 比如使用import com.alibaba.fastjson.JSON;中
阅读全文
摘要:如果爬取数据的量很大,而且使用代理Ip封号很频繁,那么就应该考虑动态代理ip,如果这个Ip访问不了,就换下一个ip继续爬取数据。 用于动态ip代理的工具类HttpUtils,代码如下: 上图中的“D:\\ips.txt”如下图所示,都是代理Ip,全部集合在一起,方便换取。 用于获取document对
阅读全文