Java网络爬虫笔记

Java网络爬虫笔记

HttpClient来代替浏览器发起请求.

select找到的是元素,也就是elements,你想要获取具体某一个属性的值,还是要用attr("")方法.标签里面的内容用text来获取

Selector选择器概述
tagname: 通过标签查找元素，比如：a
ns|tag: 通过标签在命名空间查找元素，比如：可以用 fb|name 语法来查找 <fb:name> 元素
#id: 通过ID查找元素，比如：#logo
.class: 通过class名称查找元素，比如：.masthead
[attribute]: 利用属性查找元素，比如：[href]
[^attr]: 利用属性名前缀来查找元素，比如：可以用[^data-] 来查找带有HTML5 Dataset属性的元素
[attr=value]: 利用属性值来查找元素，比如：[width=500]
[attr^=value], [attr$=value], [attr*=value]: 利用匹配属性值开头、结尾或包含属性值来查找元素，比如：[href*=/path/]
[attr~=regex]: 利用属性值匹配正则表达式来查找元素，比如： img[src~=(?i)\.(png|jpe?g)]
*: 这个符号将匹配所有元素
Selector选择器组合使用
el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意组合，比如：a[href].highlight
ancestor child: 查找某个元素下子元素，比如：可以用.body p 查找在"body"元素下的所有 p元素
parent > child: 查找某个父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body标签下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一个同级元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同级X元素，比如：h1 ~ p
el, el, el:多个选择器组合，查找匹配任一选择器的唯一元素，例如：div.masthead, div.logo
伪选择器selectors
:lt(n): 查找哪些元素的同级索引值（它的位置在DOM树中是相对于它的父节点）小于n，比如 td:lt(3) 表示小于三列的元素
:gt(n):查找哪些元素的同级索引值大于n，比如： div p:gt(2)表示哪些div中有包含2个以上的p元素
:eq(n): 查找哪些元素的同级索引值与n相等，比如：form input:eq(1)表示包含一个input标签的Form元素
:has(seletor): 查找匹配选择器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素
:not(selector): 查找与选择器不匹配的元素，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text): 查找包含给定文本的元素，搜索不区分大不写，比如： p:contains(jsoup)
:containsOwn(text): 查找直接包含给定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正则表达式，比如：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正则表达式的元素
注意：上述伪选择器索引是从0开始的，也就是说第一个元素索引值为0，第二个元素index为1等
可以查看Selector API参考来了解更详细的内容

String有一个replace方法,可以替换字符串.
    
在使用 springmvc 中，一般的定时任务是使用 job 或者 quartz 或者timer来实现，但是使用它们的时候比较麻烦，会在 xml 文件中配置很多，

springboot 的定时任务比较简单。

1、在 application 启动类中使用 @EnableScheduling 注解开启定时任务，会自动扫描，相当于一个开关，把这个开关开完之后，那么只要在相应的任务类中做相应的任务，那么就会被 spring boot 容器扫描到，扫描到后，根据任务定义的时间

会自动运行

　@Entity 表明该类 (UserEntity) 为一个实体类，它默认对应数据库中的表名是user_entity。这里也可以写成

　　　　　　@Entity(name = "xwj_user")

　　　　　　或者

　　　　　　@Entity
　　　　　　@Table(name = "xwj_user", schema = "test")

　　　　　　查看@Entity注解，发现其只有一个属性name，表示其所对应的数据库中的表名
　　　　　　
　　@Table 当实体类与其映射的数据库表名不同名时需要使用 @Table注解说明，该标注与 @Entity 注解并列使用，置于实体类声明语句之前，可写于单独语句行，也可与声明语句同行。 
　　　　　　@Table注解的常用选项是 name，用于指明数据库的表名 
　　　　　　@Table注解还有两个选项 catalog 和 schema 用于设置表所属的数据库目录或模式，通常为数据库名
 

如果缺省@Table注解，则class字段名即表中的字段名，所以需要@Column注解来改变class中字段名与db中表的字段名的映射规则

@Column注释定义了将成员属性映射到关系表中的哪一列和该列的结构信息，属性如下：
　　1）name：映射的列名。如：映射tbl_user表的name列，可以在name属性的上面或getName方法上面加入；
　　2）unique：是否唯一；
　　3）nullable：是否允许为空；
　　4）length：对于字符型列，length属性指定列的最大字符长度；
　　5）insertable：是否允许插入；
　　6）updatetable：是否允许更新；
　　7）columnDefinition：定义建表时创建此列的DDL；
　　8）secondaryTable：从表名。如果此列不建在主表上（默认是主表），该属性定义该列所在从表的名字
　　
　　如果是主键id，还会用到@Id注解

@Id注释指定表的主键，它可以有多种生成方式：
　　1）TABLE：容器指定用底层的数据表确保唯一；
　　2）SEQUENCE：使用数据库德SEQUENCE列莱保证唯一（Oracle数据库通过序列来生成唯一ID）；
　　3）IDENTITY：使用数据库的IDENTITY列莱保证唯一；
　　4）AUTO：由容器挑选一个合适的方式来保证唯一；
　　5）NONE：容器不负责主键的生成，由程序来完成。
 

其中与@Id一起使用的还有另外两个注解：@GeneratedValue、@GenericGenerator，具体使用方法可参考hibernate中的@GeneratedValue与@GenericGenerator

如果对数据库进行写操作和删除操作,请进行标示:@Transactional

PageProcessor是webmagic-core的一部分，定制一个PageProcessor即可实现自己的爬虫逻辑。

Jsoup

DOM的方式

Jsoup.parse()可以获取dom

而DOM使用getelementByclass byid bytag 可以获得相对应的element

element可以有自己的方法,获取id,获取class,获取文本text(),获取其他的属性,也可以用attr()方法来获取指定的属性,或者干脆使用attributes来一次性获取所有属性. 以上这些有多个的话,会一次性全部提取.用空格隔开.

selector选择器的方式

通过标签查找元素,比如span

dom.select("span")

通过ID查找元素,前面要添加一个#

通过CLASS查找元素,前面要添加一个.

通过属性查找是[属性] 或者是[属性 = 属性值]

用 标签::text 可以获得标签里的文本

标签::attr(属性) 获取某个属性值

或者直接用css("选择器", "属性名")来获得属性值

选择器也可以组合使用在一个查找后面直接添加另一个选择即可.

查找某个元素下的子元素: 跟组合查找类似,中间加一个空格即可. 加上 > 就是查找直接子元素.而不会查找间接子元素 * 可以代替所有直接子元素.

@Scheduled(fixedDelay= number) 加一个定时任务,括号里填时间参数.number是毫秒数

对于webmagic的页面处理逻辑来说.

就是page.html().css(这里面写选择器).toString()

关于定时任务的Cron表达式:

可以在这里在线生成表达式:http://cron.qqe2.com/

Cron表达式是一个字符串，字符串以5或6个空格隔开，分为6或7个域，每一个域代表一个含义，Cron有如下两种语法格式：

　　（1） Seconds Minutes Hours DayofMonth Month DayofWeek Year

　　（2）Seconds Minutes Hours DayofMonth Month DayofWeek

　　一、结构

　　corn从左到右（用空格隔开）：秒 分 小时 月份中的日期 月份 星期中的日期 年份

　　二、各字段的含义

字段	允许值	允许的特殊字符
秒（Seconds）	0~59的整数	, - * / 四个字符
分（Minutes）	0~59的整数	, - * / 四个字符
小时（Hours）	0~23的整数	, - * / 四个字符
日期（DayofMonth）	1~31的整数（但是你需要考虑你月的天数）	,- * ? / L W C 八个字符
月份（Month）	1~12的整数或者 JAN-DEC	, - * / 四个字符
星期（DayofWeek）	1~7的整数或者 SUN-SAT （1=SUN）	, - * ? / L C # 八个字符
年(可选，留空)（Year）	1970~2099	, - * / 四个字符

　　注意事项：

　　每一个域都使用数字，但还可以出现如下特殊字符，它们的含义是：

　　（1）：表示匹配该域的任意值。假如在Minutes域使用, 即表示每分钟都会触发事件。

　　（2）?：只能用在DayofMonth和DayofWeek两个域。它也匹配域的任意值，但实际不会。因为DayofMonth和DayofWeek会相互影响。例如想在每月的20日触发调度，不管20日到底是星期几，则只能使用如下写法： 13 13 15 20 * ?, 其中最后一位只能用？，而不能使用，如果使用表示不管星期几都会触发，实际上并不是这样。

　　（3）-：表示范围。例如在Minutes域使用5-20，表示从5分到20分钟每分钟触发一次

　　（4）/：表示起始时间开始触发，然后每隔固定时间触发一次。例如在Minutes域使用5/20,则意味着5分钟触发一次，而25，45等分别触发一次.

　　（5）,：表示列出枚举值。例如：在Minutes域使用5,20，则意味着在5和20分每分钟触发一次。

　　（6）L：表示最后，只能出现在DayofWeek和DayofMonth域。如果在DayofWeek域使用5L,意味着在最后的一个星期四触发。

　　（7）W:表示有效工作日(周一到周五),只能出现在DayofMonth域，系统将在离指定日期的最近的有效工作日触发事件。例如：在 DayofMonth使用5W，如果5日是星期六，则将在最近的工作日：星期五，即4日触发。如果5日是星期天，则在6日(周一)触发；如果5日在星期一到星期五中的一天，则就在5日触发。另外一点，W的最近寻找不会跨过月份 。

　　（8）LW:这两个字符可以连用，表示在某个月最后一个工作日，即最后一个星期五。

　　（9）#:用于确定每个月第几个星期几，只能出现在DayofMonth域。例如在4#2，表示某月的第二个星期三。

　　三、常用表达式例子

　　（1）0 0 2 1 * ? * 表示在每月的1日的凌晨2点调整任务

　　（2）0 15 10 ? * MON-FRI 表示周一到周五每天上午10:15执行作业

　　（3）0 15 10 ? 6L 2002-2006 表示2002-2006年的每个月的最后一个星期五上午10:15执行作

　　（4）0 0 10,14,16 * * ? 每天上午10点，下午2点，4点

　　（5）0 0/30 9-17 * * ? 朝九晚五工作时间内每半小时

　　（6）0 0 12 ? * WED 表示每个星期三中午12点

　　（7）0 0 12 * * ? 每天中午12点触发

　　（8）0 15 10 ? * * 每天上午10:15触发

　　（9）0 15 10 * * ? 每天上午10:15触发

　　（10）0 15 10 * * ? * 每天上午10:15触发

　　（11）0 15 10 * * ? 2005 2005年的每天上午10:15触发

　　（12）0 * 14 * * ? 在每天下午2点到下午2:59期间的每1分钟触发

　　（13）0 0/5 14 * * ? 在每天下午2点到下午2:55期间的每5分钟触发

　　（14）0 0/5 14,18 * * ? 在每天下午2点到2:55期间和下午6点到6:55期间的每5分钟触发

　　（15）0 0-5 14 * * ? 在每天下午2点到下午2:05期间的每1分钟触发

　　（16）0 10,44 14 ? 3 WED 每年三月的星期三的下午2:10和2:44触发

　　（17）0 15 10 ? * MON-FRI 周一至周五的上午10:15触发

　　（18）0 15 10 15 * ? 每月15日上午10:15触发

　　（19）0 15 10 L * ? 每月最后一日的上午10:15触发

　　（20）0 15 10 ? * 6L 每月的最后一个星期五上午10:15触发

　　（21）0 15 10 ? * 6L 2002-2005 2002年至2005年的每月的最后一个星期五上午10:15触发

　　（22）0 15 10 ? * 6#3 每月的第三个星期五上午10:15触发

　　

　　注：

　　（1）有些子表达式能包含一些范围或列表

　　例如：子表达式（天（星期））可以为 “MON-FRI”，“MON，WED，FRI”，“MON-WED,SAT”

“*”字符代表所有可能的值

　　因此，“”在子表达式（月）里表示每个月的含义，“”在子表达式（天（星期））表示星期的每一天

　　“/”字符用来指定数值的增量
　　例如：在子表达式（分钟）里的“0/15”表示从第0分钟开始，每15分钟
在子表达式（分钟）里的“3/20”表示从第3分钟开始，每20分钟（它和“3，23，43”）的含义一样

　　“？”字符仅被用于天（月）和天（星期）两个子表达式，表示不指定值
　　当2个子表达式其中之一被指定了值以后，为了避免冲突，需要将另一个子表达式的值设为“？”

　　“L” 字符仅被用于天（月）和天（星期）两个子表达式，它是单词“last”的缩写
　　但是它在两个子表达式里的含义是不同的。
　　在天（月）子表达式中，“L”表示一个月的最后一天
　　在天（星期）自表达式中，“L”表示一个星期的最后一天，也就是SAT

　　如果在“L”前有具体的内容，它就具有其他的含义了

　　例如：“6L”表示这个月的倒数第６天，“FRIL”表示这个月的最一个星期五
　　注意：在使用“L”参数时，不要指定列表或范围，因为这会导致问题

对于XPATH的@来说,不加中括号就是选取属性的值,加中括号就是选取有该属性的标签,

// 是对于任意位置的子节点都可以.

/必须是直接子节点

cron表达式
按顺序依次为 
秒（0~59） 
分钟（0~59） 
小时（0~23） 
天（月）（0~31，但是你需要考虑你月的天数）
月（0~11） 
天（星期）（1~7 1=SUN 或 SUN，MON，TUE，WED，THU，FRI，SAT） 
7.年份（1970－2099） 

其中每个元素可以是一个值(如6),一个连续区间(9-12),一个间隔时间(8-18/4)(/表示每隔4小时),一个列表(1,3,5),通配符。由于"月份中的日期"和"星期中的日期"这两个元素互斥的,必须要对其中一个设置?. 
0 0 10,14,16 * * ? 每天上午10点，下午2点，4点 
0 0/30 9-17 * * ?   朝九晚五工作时间内每半小时 
0 0 12 ? * WED 表示每个星期三中午12点 
有些子表达式能包含一些范围或列表 
例如：子表达式（天（星期））可以为 “MON-FRI”，“MON，WED，FRI”，“MON-WED,SAT” 
“*”字符代表所有可能的值 
因此，“*”在子表达式（月）里表示每个月的含义，“*”在子表达式（天（星期））表示星期的每一天 

“/”字符用来指定数值的增量 
例如：在子表达式（分钟）里的“0/15”表示从第0分钟开始，每15分钟 
         在子表达式（分钟）里的“3/20”表示从第3分钟开始，每20分钟（它和“3，23，43”）的含义一样 

“？”字符仅被用于天（月）和天（星期）两个子表达式，表示不指定值 
当2个子表达式其中之一被指定了值以后，为了避免冲突，需要将另一个子表达式的值设为“？” 

“L” 字符仅被用于天（月）和天（星期）两个子表达式，它是单词“last”的缩写 
但是它在两个子表达式里的含义是不同的。 
在天（月）子表达式中，“L”表示一个月的最后一天 
在天（星期）自表达式中，“L”表示一个星期的最后一天，也就是SAT 
如果在“L”前有具体的内容，它就具有其他的含义了 
例如：“6L”表示这个月的倒数第６天，“ＦＲＩＬ”表示这个月的最一个星期五 
注意：在使用“L”参数时，不要指定列表或范围，因为这会导致问题 

附：cronExpression配置说明 

字段 允许值 允许的特殊字符 
秒 0-59 , - * / 
分 0-59 , - * / 
小时 0-23 , - * / 
日期 1-31 , - * ? / L W C 
月份 1-12 或者 JAN-DEC , - * / 
星期 1-7 或者 SUN-SAT , - * ? / L C # 
年（可选） 留空, 1970-2099 , - * / 
表达式 意义 
"0 0 12 * * ?" 每天中午12点触发 
"0 15 10 ? * *" 每天上午10:15触发 
"0 15 10 * * ?" 每天上午10:15触发 
"0 15 10 * * ? *" 每天上午10:15触发 
"0 15 10 * * ? 2005" 2005年的每天上午10:15触发 
"0 * 14 * * ?" 在每天下午2点到下午2:59期间的每1分钟触发 
"0 0/5 14 * * ?" 在每天下午2点到下午2:55期间的每5分钟触发 
"0 0/5 14,18 * * ?" 在每天下午2点到2:55期间和下午6点到6:55期间的每5分钟触发 
"0 0-5 14 * * ?" 在每天下午2点到下午2:05期间的每1分钟触发 
"0 10,44 14 ? 3 WED" 每年三月的星期三的下午2:10和2:44触发 
"0 15 10 ? * MON-FRI" 周一至周五的上午10:15触发 
"0 15 10 15 * ?" 每月15日上午10:15触发 
"0 15 10 L * ?" 每月最后一日的上午10:15触发 
"0 15 10 ? * 6L" 每月的最后一个星期五上午10:15触发 
"0 15 10 ? * 6L 2002-2005" 2002年至2005年的每月的最后一个星期五上午10:15触发 
"0 15 10 ? * 6#3" 每月的第三个星期五上午10:15触发 
特殊字符 意义 
* 表示所有值； 
? 表示未说明的值，即不关心它为何值； 
- 表示一个指定的范围； 
, 表示附加一个可能值； 
/ 符号前表示开始时间，符号后表示每次递增的值； 
L("last") ("last") "L" 用在day-of-month字段意思是 "这个月最后一天"；用在 day-of-week字段, 它简单意思是 "7" or "SAT"。 如果在day-of-week字段里和数字联合使用，它的意思就是 "这个月的最后一个星期几" – 例如： "6L" means "这个月的最后一个星期五". 当我们用“L”时，不指明一个列表值或者范围是很重要的，不然的话，我们会得到一些意想不到的结果。 
W("weekday") 只能用在day-of-month字段。用来描叙最接近指定天的工作日（周一到周五）。例如：在day-of-month字段用“15W”指“最接近这个 月第15天的工作日”，即如果这个月第15天是周六，那么触发器将会在这个月第14天即周五触发；如果这个月第15天是周日，那么触发器将会在这个月第 16天即周一触发；如果这个月第15天是周二，那么就在触发器这天触发。注意一点：这个用法只会在当前月计算值，不会越过当前月。“W”字符仅能在 day-of-month指明一天，不能是一个范围或列表。也可以用“LW”来指定这个月的最后一个工作日。 
# 只能用在day-of-week字段。用来指定这个月的第几个周几。例：在day-of-week字段用"6#3"指这个月第3个周五（6指周五，3指第3个）。如果指定的日期不存在，触发器就不会触发。 
C 指和calendar联系后计算过的值。例：在day-of-month 字段用“5C”指在这个月第5天或之后包括calendar的第一天；在day-of-week字段用“1C”指在这周日或之后包括calendar的第一天。

java(Mybatis)网络爬虫整体顺序:

1. Application开启定时任务

2. 写一个task任务类启动爬虫(设置时间,设置processor,设置pipeline,设置url)

3. 编写processor,实现process方法,实现CSS或者XPATH或者Jsoup选择器来选择数据.将数据存储到pipeline中.

4. 编写pipeline,注入Mapper,从resultitems里拿出数据,对数据进行更新,用Mapper的方法,存入数据库.(或者写一个service接口,用service存入数据库,当然service调用的mapper的方法.)

5. 编写Mapper.在mapper里面通过注解的方式写sql.,增删改查,

6. 编写pojo,mapper需要pojo作为参数.

7. 4,5,6条的mapper也可以用springdatajpa

   关于XPATH选择器请点这里

webmagic 是先把每一页的东西都添加到 pipeline中,最后一页结束统一拿出来存到数据库里.

获取到的某个标签的文字是不包含其子标签的文字的.