08 2020 档案
摘要:最近,在对项目进行国产化时,要求springboot项目容器换成tongweb。在部署中,有个问题一直无法在本地重现,搜了下网上资料,基本没法实现,所以我整理了下。注意,项目包代码必须与本地代码保持一致。 Tongweb远程调试: 1、 添加JVM参数 启动参数配置 -> 其他JVM参数 -> 添加
阅读全文
摘要:前些天,写了个爬虫的博客,但是没有实现使用动态代理反反爬,今天补充下。如果想大量爬取数据,建议还是付费购买代理。 pom文件见:https://www.cnblogs.com/yhc-910/p/13440456.html package com.paic.ocss.fps.client.jsoup
阅读全文
摘要:本文主要使用Jsoup爬取XXX房屋信息,抓取一些房屋信息,比如房屋楼盘、户型、价格、地址等信息,然后保存到Excel,便于对比和筛选,选出符合预期的好房。 注意,有些网站有防爬取机制,需要设置动态更换代理IP进行重试。 1 <dependency> 2 <groupId>org.slf4j</gr
阅读全文