让低版本gitlab焕新 —— 如何在低版本gitlab上实现高版本API功能
前言：本文主要记录了基于低版本gitlab(v3 api)实现in-line comment功能的过程中踩过的坑及相应的解决方案，理论上其他低版本gitlab不具备的API都可以参照此类方法进行实现（只要能通过页面操作抓取到相关接口），从而让低版本gitlab焕发新生~
背景
近期我们落地了AI Code review实践，在CICD流程中当merge request创建时，会基于MR的diff代码进行AICR并将问题以comment的形式提交，如下图所示：
目前我们希望进一步改进体验：除了整体的comment，也希望能将所有问题分别以in-line comment的形式插入到对应代码片段的对应行号中，以便形成研发CR时边看代码边看问题的无缝体验（无需频繁在Discussion问题列表和代码Changes面板之间切换）
但因为一些历史原因，我们公司目前还存在新旧两套gitlab，其中旧的gitlab版本较低(8.16 v3 API)，没有现成的in-line comment API。下文将分为两个阶段来陈述如何在低版本gitlab上实现in-line comment功能以及如何兼容一些特殊场景以增强用户体验
第一阶段（初步实现功能）
需求：
根据AI返回的行号，将对应问题in-line comment到代码changes面板上，方便开发CR代码时就能看到相关问题，期望效果如下图所示：
问题：
低版本gitlab没有in-line comment API
解决方案：
通过抓取页面操作相关接口，最终通过模拟登录态并获取所有所需参数，从而构造出与在web页面上操作等价的in-line comment请求
解决过程：
1）接口分析
通过抓取web页面上的in-line comment请求，发现有一个notes请求。经过分析与回放尝试，发现有如下必传参数是需要根据情况动态获取的：
- merge_request_diff_head_sha (head_sha)
- target_id (Merge Request 的唯一 ID)
- note[noteable_id] (与target_id一致)
- note[position] (新/旧文件路径、base_sha、start_sha、head_sha、new_line、old_line等；其中因为new_line、old_line踩的坑最多，下文会提到)
- note[note] (评论的内容)
2）参数获取
- base_sha、start_sha、head_sha 等参数可以通过 `/projects/:id/merge_requests/:merge_request_id/versions` 接口获取
- old_path、new_path等参数可以通过 `/projects/:id/merge_requests/:merge_request_id/changes` 接口获取
- authenticity_token 需要访问被操作页面，然后从页面中解析获取(可结合BeautifulSoup对页面结构进行解析)
- 同时还需要构造登录态(基于有权限的账号登录后保存session,然后结合requests.Session()进行后续请求)
- new_line这一阶段是直接使用AI提供的行号(old_line没有传,因为测试场景是纯新增代码old_line不传也能成功,后来才发现是坑)
3）请求构造
按相关结构组装这些参数，构造与页面操作等价的in-line comment请求。
至此，便完成了基础的in-line comment功能
主要代码：
- in-line comment请求
def gitlab_v3_in_line_comment(self, project_id, mr_id, mr_iid, comment, file_name, old_line, new_line):
'''gitlab低版本无现成的in-line comment API,故通过页面抓取的接口曲线进行(需要模拟登录态并构造相关参数)
comment: 要备注的内容,即代码问题描述
file_name: AI返回的文件名
code_line: AI返回的行号
'''
# 获取gitlab session
session = self.gitlab_v3_get_login_session()
# Step 3: 重新提取评论页面的 authenticity_token(不能沿用登录页面的authenticity_token)
path_with_namespace = self.gitlab_get_project_by_id(project_id).get('path_with_namespace', '')
comment_page = session.get(f"https://git.kugou.net/{path_with_namespace}/merge_requests/{mr_iid}")
soup = BeautifulSoup(comment_page.text, "html.parser")
authenticity_token = soup.find("input", {"name": "authenticity_token"})["value"]
# print("MR页面authenticity_token", authenticity_token)
# step 4: 获取MR相关信息
base_sha, start_sha, head_sha = self.gitlab_v3_get_mr_diff_versions(project_id, mr_id) # 获取MR的diff版本信息
# 根据AI返回的文件名,获取old_path、new_path
result = self.gitlab_v3_get_single_mr_changes(project_id, mr_id, file_name)
if result:
old_path = result[0].get('old_path', '')
new_path = result[0].get('new_path', '')
else:
old_path = new_path = file_name
# Step 5: 构造评论请求
comment_url = f"https://git.kugou.net/{path_with_namespace}/notes"
comment_payload = {
"utf8": "✓",
"authenticity_token": authenticity_token,
"view": "inline",
"line_type": "", # 新增代码传new,已有代码传空(但是都为空也能成功)
"merge_request_diff_head_sha": head_sha,
"target_type": "merge_request",
"target_id": f"{mr_id}", # Merge Request 的唯一 ID
"note[commit_id]": "",
# "note[line_code]": "25d1157f6eee34be77947760c3d83e1f34efeb31_235_238", # 页面锚点id_oldline_newline,非必须参数
"note[noteable_id]": f"{mr_id}", # [必须]与 target_id 一致
"note[noteable_type]": "MergeRequest",
"note[type]": "DiffNote",
# "note[position]": '{"old_path":"GuessSongActivityService.java","new_path":"GuessSongActivityService.java","new_line":55,"base_sha":"29f230c853e957e049c7ef3cf8ba7435f82479ef","start_sha":"29f230c853e957e049c7ef3cf8ba7435f82479ef","head_sha":"3160984ed116026742a911ec7d8cf332e4fd4c3c"}',
"note[position]": json.dumps({
"old_path": old_path, # 旧文件路径,通过gitlab_v3_get_single_mr_changes接口获取
"new_path": new_path, # 新文件路径,同上
"old_line": old_line, # 若是新旧行号不一致的情况,old_line/new_line均必传,否则会报错(采用页面解析方案获取，第一阶段未传该参数踩坑了)
"new_line": new_line, # 针对新增的代码进行in-line comment,只需要传入该参数即可,old_line可不传
"base_sha": base_sha, # MR的diff版本信息,通过gitlab_v3_get_mr_diff_versions接口获取
"start_sha": start_sha, # 与base_sha获取方法一致
"head_sha": head_sha # 与base_sha获取方法一致
}),
"note[note]": comment, # 具体的评论内容
"commit": "Comment"
}
# print('\n -----构造的评论参数----- ', comment_payload)
# Step 6: 发送评论请求
response = session.post(comment_url, data=comment_payload)
# print('评论结果 : ', response.status_code, response.text)
return response- gitlab session处理
def gitlab_v3_get_login_session(self):
'''
gitlab登录态
若缓存中的session数据未失效，则直接从缓存中获取相关数据并构造session
若已失效，则重新登录获取session，并缓存
'''
SESSION_CACHE_KEY = "gitlab_session_for_AICR"
SESSION_TIMEOUT = 3600 * 8
# 获取已认证的session,如果缓存存在则直接使用
session_data = cache.get(SESSION_CACHE_KEY)
if session_data:
# 从缓存恢复session
session = requests.Session()
session.cookies.update(session_data.get("cookies", {}))
session.headers.update(session_data.get("headers", {}))
return session
# 如果缓存不存在，重新登录并缓存
# Step 1: 获取登录页面并提取 authenticity_token
login_url = "https://git.kugou.net/users/sign_in"
session = requests.Session()
login_page = session.get(login_url)
soup = BeautifulSoup(login_page.text, "html.parser")
auth_token_input = soup.find('input', {'name': 'authenticity_token', 'type': 'hidden'})
if auth_token_input:
authenticity_token = auth_token_input['value']
else:
return ''
# Step 2: 登录
login_payload = {
"user[login]": settings.AICR_USER, # AI-CodeReviewer用户名
"user[password]": settings.AICR_PASS, # AI-CodeReviewer密码
"authenticity_token": authenticity_token # 登录页面的authenticity_token
}
response = session.post(login_url, data=login_payload)
# 检查是否登录成功（根据 GitLab 的页面返回内容或状态码判断）
if response.status_code != 200 or "Sign in" in response.text:
logger.error("gitlab Login failed. Please check credentials.")
else:
# 缓存session(Session对象无法直接序列化,需要提取cookies和headers,以便后续构造)
session_data = {
"cookies": session.cookies.get_dict(),
"headers": dict(session.headers)
}
cache.set(SESSION_CACHE_KEY, session_data, timeout=SESSION_TIMEOUT)
return session
第二阶段（特殊场景兼容）
问题：
第一阶段功能上线运行一段时间后，我们发现很多AICR问题没有成功提交in-line comment，经过分析主要是以下两种原因：
- AI返回的行号在gitlab MR changes面板上被隐藏折叠了（我们默认情况下是没法在web页面选中这个行号的，自然也是没法基于该行号提交comment）
- 针对变更的代码，会存在old_line、new_line不一致的场景，这种情况下需要同时传对新/旧行号才能成功添加comment（而新旧行号只有页面上能获取到，也没有对应api可以获取）
预期需求：
针对上述问题，我们希望达成如下效果，以改进用户体验
1）当AI返回的行号在MR changes面板被隐藏折叠时，将相关AICR问题备注到最相邻的那一行，如下所示
2）针对变更代码 old_line、new_line不一致的情况，获取页面上实际展示的新/旧行号构造请求
解决方案：
1）构造登录态请求diffs.json接口，拿到所有diff文件的html源码
2）结合BeautifulSoup解析步骤1拿到的html源码，找到对应文件的div，然后拿到所有行号的data-position信息
3）构造line_mapping_dict，用来判断传入的行号参数的有效性，并做兼容性处理
解决过程：
1）页面分析
MR Changes面板每一个文件就是一个大的div块，其中每一行代码对应一个tr，然后每个tr中有相关行号信息，我们只需要解析整个页面然后获取相关行号即可
过程中还有一个小插曲：实际应用中发现行号在MR页面上不展示的情况下，对应in-line comment的行号参数也必须传null，如果传了<tr>标签中展示的原行号也会报错... 故继续在页面上找规律，发现在<td>标签中的data-position属性符合需求（页面上不展示的行号其值为null），故进一步调整解析逻辑
2）动态接口信息获取及解析
另外过程中还发现MR的change页面不是一个纯静态页面，代码diff信息是通过接口动态获取的。故没法直接通过访问MR的URL来拿到代码diff内容，需要调用相应的diffs.json接口获取，所以我们需要解析该接口的返回内容（好在接口返回内容也是html格式，可以结合BeautifulSoup快速处理）
3）根据AI给定的行号判定有效的新/旧行号
将每个文件在页面上展示的新/旧行号都存储下来，然后基于AI给定的行号进行有效性判定：
- 若给定的行号不存在，则返回最页面上展示的最相邻的新/旧行号
- 若存在，则直接返回对应的新/旧行号
踩完各种坑之后，最终效果如下：
主要代码：
- gitlab MR changes页面-代码片段行号信息获取
def get_mr_changefile_display_lines(self, project_id, mr_iid, file_name):
'''
获取MR changes板块对应文件的所有展示出来的行号,用于后续处理兼容以下特殊情况:
1. AI返回的行号在MR changes板块被折叠隐藏
2. 修改代码的情况下,代码行号发生变化,in-line comment的行号需要同时传对应的old_line和new_line
return: line_mapping_dict eg: {4: (4, 4), 5: (5, 5), 357: (357, 360), 360: (357, 360)}
'''
session = self.gitlab_v3_get_login_session()
path_with_namespace = self.gitlab_get_project_by_id(project_id).get('path_with_namespace', '')
resp = session.get(f"https://git.kugou.net/{path_with_namespace}/merge_requests/{mr_iid}/diffs.json")
html_content = resp.json().get('html', '')
# 使用 BeautifulSoup解析HTML片段
soup = BeautifulSoup(html_content, 'html.parser')
# 定义目标文件的关键字
target_keyword = f"{file_name}/diff" # 如 services/numeric/numeric_service.go/diff
# 查找 data-blob-diff-path属性包含特定字符串的 div标签
target_div = soup.find(
'div',
attrs={"data-blob-diff-path": lambda value: value and target_keyword in value}
)
# 如果找到目标div,则进一步解析
if target_div:
# 查找该div下符合条件的所有class包含line_content和noteable_line的<td>,形如<td class="line_content new noteable_line old">
td_elements = target_div.find_all(
'td',
attrs={'class': lambda x: x and set(['line_content', 'noteable_line']).issubset(x.split())}
)
# 提取所有行号,并构造行号映射字典,形如:{4: (4, 4), 5: (5, 5), 357: (357, 360), 360: (357, 360)}
line_mapping_dict = {}
for td in td_elements:
# 获取 data-position 属性
data_position = td.get('data-position')
if data_position:
try:
# 将 JSON 字符串解析为字典
position_data = json.loads(data_position)
old_line = position_data.get('old_line')
new_line = position_data.get('new_line')
# 以old_line、new_line作为key分别存储一次,方便后续可以根据任意匹配行号查询到相应的old_line、new_line对
if old_line: line_mapping_dict[old_line] = (old_line, new_line) # 避免存这种 None: (None, 357)
if new_line: line_mapping_dict[new_line] = (old_line, new_line)
except json.JSONDecodeError:
logger.error("Failed to decode JSON in data-position: %s", data_position)
# print(line_mapping_dict)
return line_mapping_dict
else:
# print(f"未找到包含{target_keyword}的div")
return None
- 行号有效性判定及兼容处理逻辑
def find_line_mapping(line_number, line_mapping_dict):
"""
根据AI提供的行号在line_mapping_dict中查找相关联的新/旧行号。
如果行号存在，直接返回；如果不存在，返回最接近的行号。
return: (old_line, new_line)
"""
if not line_number or not line_mapping_dict:
return None
# print("line_number : ", line_number)
if line_number in line_mapping_dict:
return line_mapping_dict[line_number]
# 获取所有行号并排序
sorted_lines = sorted(line_mapping_dict.keys())
# 找到最接近的行号
closest_line = None
min_diff = float('inf') # 初始设置为无穷大,以便首次比较
for line in sorted_lines:
diff = abs(line - line_number)
if diff < min_diff:
min_diff = diff
closest_line = line
return line_mapping_dict[closest_line]
以上就是在低版本gitlab上实现in-line comment全过程了，希望能对也有此类需求的朋友提供一个参考思路
