数据采集与融合技术第三次作业
作业内容
作业①:
要求：指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。使用scrapy框架分别实现单线程和多线程的方式爬取。
–务必控制总页数（学号尾数2位）、总下载的图片数量（尾数后3位）等限制爬取的措施。
主要代码：
单线程：
class zy1_Pipeline:
count = 0
desktopDir = str(pathlib.Path.home()).replace('\\', '\\\\') + '\\Desktop'
def open_spider(self, spider):
picture_path = self.desktopDir + '\\images'
if os.path.exists(picture_path): # 判断文件夹是否存在
for root, dirs, files in os.walk(picture_path, topdown=False):
for name in files:
os.remove(os.path.join(root, name)) # 删除文件
for name in dirs:
os.rmdir(os.path.join(root, name)) # 删除文件夹
os.rmdir(picture_path) # 删除文件夹
os.mkdir(picture_path) # 创建文件夹
def process_item(self, item, spider):
if isinstance(item, zy1_Item):
url = item['img_url']
print(f"Processing image URL: {url}")
if self.count < 13: # 只处理前13个项目
try:
img_data = urllib.request.urlopen(url=url).read()
img_path = self.desktopDir + '\\images\\' + str(self.count + 1) + '.jpg' # 从1开始编号
with open(img_path, 'wb') as fp:
fp.write(img_data)
print(f"Downloaded image to {img_path}")
self.count += 1 # 增加计数
except Exception as e:
print(f"Error downloading image from {url}: {e}")
return item
def close_spider(self, spider):
# 单线程下，不需要等待线程结束
pass
多线程：
class zy1_Pipeline:
count = 0
desktopDir = str(pathlib.Path.home()).replace('\\', '\\\\') + '\\Desktop'
threads = []
downloaded_urls = set() # 用于记录已下载的图片 URL
def open_spider(self, spider):
picture_path = self.desktopDir + '\\images'
if os.path.exists(picture_path): # 判断文件夹是否存在
for root, dirs, files in os.walk(picture_path, topdown=False):
for name in files:
os.remove(os.path.join(root, name)) # 删除文件
for name in dirs:
os.rmdir(os.path.join(root, name)) # 删除文件夹
os.rmdir(picture_path) # 删除文件夹
os.mkdir(picture_path) # 创建文件夹
# 多线程
def process_item(self, item, spider):
if isinstance(item, zy1_Item):
url = item['img_url']
print(f"Processing image URL: {url}")
if url not in self.downloaded_urls and self.count < 13:
image_number = self.count + 1 # 从1开始编号
T = threading.Thread(target=self.download_img, args=(url, image_number))
T.setDaemon(False)
T.start()
self.threads.append(T)
self.downloaded_urls.add(url) # 记录已下载的 URL
self.count += 1
return item
def download_img(self, url, image_number):
try:
img_data = urllib.request.urlopen(url=url).read()
img_path = self.desktopDir + '\\images\\' + str(image_number) + '.jpg'
with open(img_path, 'wb') as fp:
fp.write(img_data)
print(f"Downloaded image to {img_path}")
except Exception as e:
print(f"Error downloading image from {url}: {e}")
def close_spider(self, spider):
for t in self.threads:
t.join()
输出信息:
爬取前13张图片
单线程：
多线程：
作业②
要求：熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法；使用scrapy框架+Xpath+MySQL数据库存储技术路线爬取股票相关信息。
候选网站：东方财富网：https://www.eastmoney.com/
主要代码：
class zy2_Pipeline:
count = 0 # 用于计数
def open_spider(self, spider):
self.conn = sqlite3.connect('stock.db')
self.cursor = self.conn.cursor()
self.cursor.execute('DROP TABLE IF EXISTS stock')
sql = """CREATE TABLE stock(
Latest_quotation REAL,
Chg REAL,
up_down_amount REAL,
turnover REAL,
transaction_volume REAL,
amplitude REAL,
id TEXT PRIMARY KEY,
name TEXT,
highest REAL,
lowest REAL,
today REAL,
yesterday REAL
)"""
self.cursor.execute(sql)
def process_item(self, item, spider):
if isinstance(item, zy2_Item):
if self.count < 113:
sql = """INSERT INTO stock VALUES (?,?,?,?,?,?,?,?,?,?,?,?)"""
values = (item['f2'], item['f3'], item['f4'], item['f5'], item['f6'], item['f7'], item['f12'], item['f14'], item['f15'], item['f16'], item['f17'], item['f18'])
self.cursor.execute(sql, values)
self.conn.commit()
self.count += 1 # 增加计数
return item
def close_spider(self, spider):
self.cursor.close()
self.conn.close()
输出信息：
作业③:
要求：熟练掌握 scrapy 中 Item、Pipeline 数据的序列化输出方法；使用scrapy框架+Xpath+MySQL数据库存储技术路线爬取外汇网站数据。
候选网站：中国银行网：https://www.boc.cn/sourcedb/whpj/
主要代码：
class zy3_Pipeline:
count = 0 # 用于计数
def open_spider(self, spider):
self.conn = sqlite3.connect('bank.db')
self.cursor = self.conn.cursor()
self.cursor.execute('DROP TABLE IF EXISTS bank')
sql = """CREATE TABLE bank(
Currency TEXT,
TBP TEXT,
CBP TEXT,
TSP TEXT,
CSP TEXT,
Time TEXT
)"""
self.cursor.execute(sql)
def process_item(self, item, spider):
if isinstance(item, zy3_Item):
if self.count < 113:
sql = 'INSERT INTO bank VALUES (?,?,?,?,?,?)'
values = (item['name'], item['price1'], item['price2'], item['price3'], item['price4'], item['date'])
self.cursor.execute(sql, values)
self.conn.commit()
self.count += 1 # 增加计数
return item
def close_spider(self, spider):
self.cursor.close()
self.conn.close()
输出信息：
