2020年3月10日
判断网站CMS
摘要： 1.robots.txt文件 robots.txt文件我们写过爬虫的就知道，这个文件是告诉我们哪些目录是禁止爬取的。但是大部分的时候我们都能通过robots.txt文件来判断出cms的类型 如： 从wp路径可以看出这个是WordPress的cms 这个就比较明显了直接告诉我们是PageAdmin c 阅读全文
posted @ 2020-03-10 11:50 yokan 阅读(1319) 评论(0) 推荐(0) 编辑