delphi 学习如何登陆网站下载文件
感谢我宅猫大哥的热心指导.
启动时等待验证码.
输入验证码后,等待处理数据
处理完成后,显示数据
实现原理:利用已有的账号和密码登录后产生的cookie,向服务器请求数据.返回的数据是JSON格式,后期需要自己整理.
注意,请在程序中使用同一个TnetHttpClient控件来完成.因为里面保存了cookie信息
需要了解的知识点:
一. token:
在 Web 开发中，Token 经常用于用户身份验证。当用户成功登录后，服务器会生成一个 Token，并将其返回给客户端。客户端将该 Token 存储在本地，以后的请求都携带该 Token，用于证明请求的合法性。服务器会根据 Token 验证用户身份，并决定是否允许该请求访问相关资源。
在登录页面的源代码中,按 ctrl+F 查找 token
二.cookie
Cookie 主要用于跟踪用户的状态和行为，以提供个性化的用户体验。通过存储在 Cookie 中的数据，网站可以识别和区分不同的用户，记录用户的偏好设置，保持用户登录状态，以及追踪用户在网站上的访问轨迹等。这些信息可以在用户下次访问网站时被读取并使用。
Cookie 有两种类型：会话性 Cookie 和持久性 Cookie。
会话性 Cookie 存储在用户的计算机上，但在用户关闭浏览器时会被自动删除。这种类型的 Cookie 通常用于临时存储会话信息，如用户的登录状态。
持久性 Cookie 有一个指定的过期日期，可以在用户关闭浏览器后继续存在。这种类型的 Cookie 可以用于记住用户的偏好设置和提供个性化的内容。
三.Referer
Referer 是一个 HTTP 请求头字段，提供了当前请求的来源信息，用于统计、安全验证和针对性处理等用途。但由于用户隐私的考虑，Referer 值可能为空或被限制。
四.数据的请求地址.就是向服务器请求数据的地址.
下面的动画中,展示了登录网站后,如何获取Referer和数据请求地址的过程.
第一步就是登陆了,
第二步是转到要下载文件的页面,按F12调出开发者工具.红3是清除当前记录,避免干扰
第三步.点击下载文件,然后会看到出现两条记录(以我当面的页面为例).我们观察第二个地址.里面有limit,明显是分页的,舍去,取第一个地址.
也就是数据请求的地址找到了. 等于号后面的那串13位数字,我后面会讲
第四步,单击第一条记录,可以看到它的标头信息,里面就有Referer 信息,记下来.其实为了保险起见,标头里的信息应该全部封装到代码里才算完美.
点击预览选项卡,这里你就可以看到你的数据包了,我们要抓的,就是这个数据.
最后我们再回头看看这一串13位的数字.它其实是一个13位的时间戳,它是给服务器用来校验请求的时间是否在合法范围内.知道它是什么,要做一个就简单了
下面是完整的程序代码:
type TForm1 = class(TForm) Image1: TImage; Label1: TLabel; NetHTTPClient1: TNetHTTPClient; scGPEdit1: TscGPEdit; cxGrid1Level1: TcxGridLevel; cxGrid1: TcxGrid; cxGrid1TableView1: TcxGridTableView; cxGrid1TableView1Column1: TcxGridColumn; cxGrid1TableView1Column2: TcxGridColumn; cxGrid1TableView1Column3: TcxGridColumn; cxGrid1TableView1Column4: TcxGridColumn; cxGrid1TableView1Column5: TcxGridColumn; scGPPanel1: TscGPPanel; scGPPanel2: TscGPPanel; procedure FormCreate(Sender: TObject); procedure Image1Click(Sender: TObject); procedure scGPEdit1RightButtonClick(Sender: TObject); procedure scGPEdit1KeyDown(Sender: TObject; var Key: Word; Shift: TShiftState); private { Private declarations } public { Public declarations } end; TMyThread = class(TThread) protected procedure Execute; override; end; var Form1: TForm1; implementation uses DateUtils; {$R *.dfm} // 取13位数字时间 function GetDigitalTime: string; var S_Char: string; begin S_Char := FormatSettings.DateSeparator; Result := IntToStr(MilliSecondsBetween(IncHour(now, -8), StrToDateTime('1970' + S_Char + '1' + S_Char + '1'))); end; procedure LoadTxtToCxGrid(); //把处理好的数据,加载进表格,展示给用户 begin var Lines := TStringList.Create; try Lines.LoadFromFile('d:\resule.txt', TEncoding.UTF8); var view := form1.cxGrid1TableView1.DataController; for var i := 1 to Lines.Count - 1 do begin var k := view.AppendRecord; var arr: TArray<string> := Lines[i].Split([',']); for var j := 0 to 4 do begin view.Values[k, j] := arr[j]; //这里一定要注意.先在cxgrid中创建好列,这里是五列,所以才写了0 to 4 .群里有个老六,就为这点喷我,搞得很不愉快. end; end; //隐藏验证码部分,显示出数据表 Form1.scGPPanel1.Visible := False; Form1.Height := 300; Form1.scGPPanel2.Visible := True; Form1.scGPPanel2.Align := alClient; finally Lines.Free; DeleteFile('D:\123.txt'); //删除文件 DeleteFile('d:\resule.txt'); //删除文件 end; end; function washData(): Boolean; //清洗数据 var Reader: TStreamReader; Writer: TStreamWriter; txts: string; JSONObj: TJSONObject; StockValue, GoodsNameValue: string; JsonArray: TJSONArray; begin Reader := TStreamReader.Create('D:\123.txt'); Writer := TStreamWriter.Create('D:\resule.txt'); try txts := Reader.ReadToEnd; // 读取全部的文件内容 JSONObj := TJSONObject.ParseJSONValue(txts) as TJSONObject; try if Assigned(JSONObj) then begin JsonArray := JSONObj.GetValue('rows') as TJSONArray; //选对节点,才能拿到正确数据 Writer.WriteLine('物料代码,物料名称,规格型号,单位,库存'); for var i := 0 to JsonArray.Count - 1 do begin StockValue := JsonArray.Items[i].GetValue<string>('stock'); // 获取 stock 字段值 GoodsNameValue := JsonArray.Items[i].GetValue<string>('goods_name'); // 获取 goods_name 字段值 // 输出数据 if GoodsNameValue <> '' then begin GoodsNameValue := GoodsNameValue.Replace('\', '', [rfReplaceAll]); //去掉所有'\' GoodsNameValue := GoodsNameValue.Replace('刀', '刀/', [rfReplaceAll]); GoodsNameValue := GoodsNameValue.Replace('丝锥', '丝锥/', [rfReplaceAll]); GoodsNameValue := GoodsNameValue.Replace('钻D', '钻/D', [rfReplaceAll]); GoodsNameValue := GoodsNameValue.Replace('钻头', '钻头/', [rfReplaceAll]); var arr: tarray<string>; arr := GoodsNameValue.Split(['/']); Writer.WriteLine(arr[0] + ',' + arr[1] + ',' + arr[2] + ',' + arr[3] + ',' + StockValue); end; end; end; finally JSONObj.Free; end; finally Reader.Free; Writer.Free; //写入表格 LoadTxtToCxGrid; end; end; procedure TForm1.scGPEdit1KeyDown(Sender: TObject; var Key: Word; Shift: TShiftState); begin if Key = 13 then scGPEdit1RightButtonClick(Sender); end; procedure TForm1.scGPEdit1RightButtonClick(Sender: TObject); var ss_Request: TStringList; token: string; captcha: string; match: TMatch; S2, S3: TMemoryStream; Resp: IHTTPResponse; const // 登陆页面 TokenURL = '登陆地址'; // 提交网址 PostURL = '登陆地址'; begin //封装标头信息 NetHTTPClient1.UserAgent := 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36'; NetHTTPClient1.Accept := 'application/json, text/javascript, */*; q=0.01'; NetHTTPClient1.ContentType := 'application/json'; captcha := Trim(scGPEdit1.text); // 用户输入的验证码 if Length(captcha) <> 4 then // 初步判断用户输入的验证码长度是否正确 begin ShowMessage('请输入正确的验证码'); Exit; end; // --------获取token --------- Resp := NetHTTPClient1.Get(TokenURL); // 取得登陆页面的源代码 // -------用正则取出token match := TRegEx.match(Resp.ContentAsString(TEncoding.UTF8), '[\w]{32}'); if match.Success then begin token := match.Groups[0].Value; end else begin ShowMessage('没有找到token'); Exit; end; // --------封包--------- ss_Request := TStringList.Create; ss_Request.Add('__token__=' + token); ss_Request.Add('username=登陆的用户名'); ss_Request.Add('password=登陆密码'); ss_Request.Add('captcha=' + scgpedit1.text); //scgpedit1.text 是验证码,这个需要手动输入 // resp 提交登陆请求 Resp := NetHTTPClient1.Post(PostURL, ss_Request); if Resp.StatusCode = 200 then //如果登陆成功,则开始抓包 begin Sleep(500); NetHTTPClient1.CustomHeaders['X-Requested-With'] := 'XMLHttpRequest'; NetHTTPClient1.CustomHeaders['Referer'] := 'xxxx'; S2 := TMemoryStream.Create; NetHTTPClient1.Get('数据请求的地址'+ GetDigitalTime, S2); S2.Position := 0; S2.SaveToFile('d:\123.txt'); //把流数据保存成文件,以便后期处理 scGPEdit1.text := '稍等,处理中...'; scGPEdit1.Enabled := false; washData; //自定义函数,整理123.txt中的内容为需要的格式 end else ShowMessage('请求失败'); end; //初始化窗口.开始时只显示验证码部分 procedure TForm1.FormCreate(Sender: TObject); begin scGPPanel2.Visible := false; Self.Height := 120; scGPEdit1.Text := '请等待...'; scGPEdit1.Enabled := False; Image1Click(Sender); end; procedure TForm1.Image1Click(Sender: TObject); // 点击图片时更新验证码 var MyThread: TMyThread; begin // 创建并启动自定义线程 MyThread := TMyThread.Create(true); MyThread.FreeOnTerminate := true; // 线程执行结束后自动释放 MyThread.Start; end; { TMyThread } procedure TMyThread.Execute; var Stream: TMemoryStream; pngimage: TPngImage; begin Stream := TMemoryStream.Create; pngimage := TPngImage.Create; try Form1.NetHTTPClient1.Get('验证码地址', Stream); // 下载验证码 Stream.Position := 0; //初始化读写位置 pngimage.LoadFromStream(Stream); // 转换流 Form1.Image1.Picture.Bitmap.Assign(pngimage); // 把验证码显示出来 if Form1.Image1.Picture.Bitmap = nil then ShowMessage('验证码加载失败,请点击右边的图片重新加载') else begin Form1.scGPEdit1.Enabled := true; Form1.scGPEdit1.text := ''; end; finally pngimage.Free; Stream.Free; end; end; end.
