python 爬虫--同花顺-使用代理
1.http://www.goubanjia.com/ 在上面获取 使用http协议的公网IP和端口
参考:https://blog.csdn.net/qq_23934063/article/details/79063937
2. 关键代码如下:
#python3
# coding: utf-8
from bs4 import BeautifulSoup
import requests
import json
import time
import random
codelist = []
for zxcode000 in range(100,999):
code000 = '000' + str(zxcode000)
codelist.append(code000)
for zhongxiaocode in range(10,100):
code0000 = '0000' + str(zhongxiaocode)
codelist.append(code0000)
for szzhubancode in range(1,10):
code00000 = '00000' + str(szzhubancode)
codelist.append(code00000)
for stocknum00 in range(2001,2999):
stocknum00 = '00' +str(stocknum00)
codelist.append(stocknum00)
for cybcode in codelist:
proxys = ['http://101.4.136.34:81', 'http://50.224.173.189:8080', 'http://119.28.195.93:8888',
'http://58.240.170.108:8080',
'http://140.143.96.216:80']
myproxy = random.choice(proxys)
try:
code600 = str(cybcode)
time.sleep(3)
url6000 = 'http://basic.10jqka.com.cn/'+code600+'/finance.html'
session = requests.Session()
session.headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}
session.get('http://basic.10jqka.com.cn')
session.proxies = myproxy
r1 = session.get(url6000)
rawtext1 = r1.text
rawdata = r1.content
obj = BeautifulSoup(rawdata, 'html5lib')
pid = obj.findAll("p", id="main")
textPid = pid[0]
jsonData = textPid.get_text()
dictData = json.loads(jsonData)
simpleData = dictData['simple']
simpleList = simpleData[5]
rate0 = simpleList[0].split('%')[0]
rate1 = simpleList[1].split('%')[0]
rate2 = simpleList[2].split('%')[0]
growList = simpleData[7]
grow0 = growList[0].split('%')[0]
grow1 = growList[1].split('%')[0]
grow2 = growList[2].split('%')[0]
if float(rate0) > float(rate1) and float(rate1) > 35 and float(grow0) > 35 and float(grow1) > 30 and float(
grow2) > 35 and float(grow0) > float(grow1):
print(cybcode, rate0, rate1, rate2, grow0, grow1, grow2)
except:
print(myproxy,cybcode)
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· Linux系列:如何用heaptrack跟踪.NET程序的非托管内存泄露
· TypeScript + Deepseek 打造卜卦网站:技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
· 【译】Visual Studio 中新的强大生产力特性
· 2025年我用 Compose 写了一个 Todo App