随笔分类 - Java网络爬虫学习笔记
Java读取本地json文件
摘要:背景 之前一直在弄一个Java爬虫,将爬取的信息保存到了数据库中。但这毕竟是一个课程设计,在设计前端GUI,展示数据的时候最开始是直接通过select语句从数据库中查找的,但我担心交给老师后,老师还要配置JDBC的参数创建数据库插入表等一些繁琐操作,便想要保存到本地。昨晚看到同学从数据库中导出一个j
避免网络爬虫IP被封的策略
摘要:背景 这两天一直在搞Java网络爬虫作为Java课程设计,目标是爬取豆瓣电影top250的影评,之后可能还需要进行情感分析,当然这就不是爬虫的内容了。我的爬虫程序在一开始只是一个页面一个页面的爬取信息,一直没出现什么太大问题,直到昨晚进行整体测试时,出现了IP被封的问题。大概仅仅爬取了数万条评论,再
Java网络爬虫 Jsoup
摘要:一、Jsoup介绍 我们抓取到页面之后,还需要对页面进行解析。可以使用字符串处理工具解析页面,也可以使用正则表达式,但是这些方法都会带来很大的开发成本,所以我们需要使用一款专门解析html页面的技术。jsoup is a Java library for working with real-worl
Java网络爬虫 HttpClient
摘要:简介 : HttpClient是Apache Jakarta Common下的子项目,用于提供高效的,功能丰富的支持HTTP协议的客户编程工具包,其主要功能如下: 实现了所有HTTP的方法 : GET,POST,PUT,HEAD .. 支持自动重定向 支持HTTPS协议 支持代理服务器 关于Http
Java连接MySQL数据库及简单的增删查改操作
摘要:主要摘自 https://www.cnblogs.com/town123/p/8336244.html https://www.runoob.com/java/java-mysql-connect.html 工具:eclipse、MySQL、MySQL连接驱动:mysql-connector-jav
Windows系统安装MySQL
摘要:本篇博客主要摘自https://blog.csdn.net/bobo553443/article/details/81383194 一、下载MySQL 这里给出官网地址 https://dev.mysql.com/downloads/ 下载社区版community 选择Windows版本 选择下面那