爬虫笔记之Google镜像导航链接JS加密破解（http://ac.scmor.com/）
这是个非常非常简单的js加密链接。
这是一个导航网站，实际链接到的网站的url被加密了，并没有直接显示在页面上，首先开发者模式选中链接元素：
发现这个链接有一个onclick事件，是调用了visit方法传入了一个很长的看上去像是base64的字符串，猜测实际的url应该就是根据这个字符串生成的，但是怎么跟进去visit方法呢，这个方法能够在html中直接访问到，说明其作用域是全局的，那么切换到console面板，输入刚才那个函数的名称visit回车将其打印：
单击输出，跳转到函数所在的代码：
可以看到这部分关键的代码在strdecode函数中，如法炮制，跳转到strdecode所在的代码：
单击跳转：
这部分用到了两个全局变量，Gword和hn，通过搜索请求找到这两个变量都在页面doc里声明的：
hn就是域名的主机名部分转为小写，即“ac.scmor.com”，然后就是Gword貌似是作者的邮箱，这样写在页面代码中还不得被各种爬虫发的小广告给烦死啊。。。
搞清楚了这两个变量，再回到之前的js：
默认情况下每个链接都会有一串看上去像是base64的字符串，这里strdecode传入的参数就是那个字符串，传进来的字符串首先进行base64解码，然后基于Gword和hn转换为一个新的base64编码的字符串，然后继续对其base64解码，就得到了最终的url。
根据上面的逻辑编写出代码：
package cc11001100.misc.crawler.js.acscmorcom;
import cc11001100.misc.crawler.utils.HttpUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Connection;
import java.util.ArrayList;
import java.util.Base64;
import java.util.Collections;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
/**
* http://ac.scmor.com/
*
* @author CC11001100
*/
@Slf4j
public class AcscmorcomCrawler {
public static List<String> getMirrorSiteLink() {
String responseBody = HttpUtil.request("http://ac.scmor.com/", null, Connection.Response::body);
if (StringUtils.isBlank(responseBody)) {
log.error("response empty");
return Collections.emptyList();
}
Matcher matcher = Pattern.compile("autourl\\[\\d+] = \"(.+?)\"").matcher(responseBody);
List<String> result = new ArrayList<>();
while (matcher.find()) {
result.add(decodeToLink(matcher.group(1)));
}
return result;
}
/**
* <pre>
* function strdecode(string) {
* string = base64decode(string);
* key = Gword + hn;
* len = key.length;
* code = '';
* for (i = 0; i < string.length; i++) {
* var k = i % len;
* code += String.fromCharCode(string.charCodeAt(i) ^ key.charCodeAt(k));
* }
* return base64decode(code);
* }
* </pre>
*
* @param likeBase64
* @return
*/
private static String decodeToLink(String likeBase64) {
String hn = "ac.scmor.com";
String gword = "author: link@scmor.com.";
String s1 = base64DecodeToString(likeBase64);
String key = gword + hn;
StringBuilder result = new StringBuilder();
for (int i = 0; i < s1.length(); i++) {
char c = (char) (s1.charAt(i) ^ key.charAt(i % key.length()));
result.append(c);
}
return base64DecodeToString(result.toString());
}
private static String base64DecodeToString(String raw) {
return new String(Base64.getDecoder().decode(raw));
}
public static void main(String[] args) {
// System.out.println(decodeToLink("AD0mWAw2VVYgWiAdDB4LHQwqaxY2XxcVL0M9FiEYTxM="));
List<String> list = getMirrorSiteLink();
System.out.println("count: " + list.size());
list.forEach(System.out::println);
// count: 16
// http://so.hiqq.com.cn/
// https://sci-hub.org.cn/
// https://xueshu.soogle.top
// http://www.ndtsg.com/
// https://www.80xueshu.com/
// https://xs.glgoo.top/scholar
// https://scholar.123admin.com/
// https://g3.luciaz.me/scholar
// http://nav.hiqq.com.cn/twy/
// https://a.g456.top
// https://g.sudo.gq/
// https://q.g456.top
// https://ice.g456.top
// http://206.189.135.241/
// https://www.kuaimen.bid/
// https://gg.chn.moe/
}
}
输出：
.
