数据采集与融合技术 实验5
作业①：
-
要求：
熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架爬取京东商城某类商品信息及图片。
-
候选网站：http://www.jd.com/
-
关键词：学生可自由选择
-
输出信息：MySQL的输出信息如下
| mNo | mMark | mPrice | mNote | mFile |
| 000001 | 三星Galaxy | 9199.00 | 三星Galaxy Note20 Ultra 5G... | 000001.jpg |
| 000002...... |
1）、京东网手机数据爬取
1.定位网页搜索框，输入关键词"手机"
self.driver.get(url)
keyInput = self.driver.find_element_by_id("key")
keyInput.send_keys(key)
keyInput.send_keys(Keys.ENTER)
2.编写爬虫主体，检查页面：
利用xpath方法实现定位(由于京东网页的特殊，图片链接隐藏在src或者data-lazy-img下)
lis =self.driver.find_elements_by_xpath("//div[@id='J_goodsList']//li[@class='gl-item']")
for li in lis:
if count > 413:
break;
# We find that the image is either in src or in data-lazy-img attribute
try:
src1 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("src")
except:
src1 = ""
try:
src2 = li.find_element_by_xpath(".//div[@class='p-img']//a//img").get_attribute("data-lazy-img")
except:
src2 = ""
try:
price = li.find_element_by_xpath(".//div[@class='p-price']//i").text
except:
price = "0"
try:
note = li.find_element_by_xpath(".//div[@class='p-name p-name-type-2']//em").text
mark = note.split(" ")[0]
mark = mark.replace("爱心东东\n", "")
mark = mark.replace(",", "")
note = note.replace("爱心东东\n", "")
note = note.replace(",", "")
except:
note = ""
mark = ""
翻页处理：
# 找到下一页的跳转按钮位置
if count < 413:
try:
self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next disabled']")
except:
nextPage = self.driver.find_element_by_xpath("//span[@class='p-num']//a[@class='pn-next']")
time.sleep(5)
nextPage.click()
time.sleep(5)
self.processSpider()
设置下载的图片文件名：
self.No = self.No + 1
no = str(self.No)
while len(no) < 6:
no = "0" + no
print(no, mark, price)
if src1:
src1 = urllib.request.urljoin(self.driver.current_url, src1)
p = src1.rfind(".")
mFile = no + src1[p:]
elif src2:
src2 = urllib.request.urljoin(self.driver.current_url, src2)
p = src2.rfind(".")
mFile = no + src2[p:]
使用多线程，快速下载：
if src1 or src2:
T = threading.Thread(target=self.download, args=(src1, src2, mFile))
T.setDaemon(False)
T.start()
self.threads.append(T)
else:
mFile = ""
定义下载函数：
def download(self, src1, src2, mFile):
data = None
if src1:
try:
req = urllib.request.Request(src1, headers=MySpider.headers)
resp = urllib.request.urlopen(req, timeout=10)
data = resp.read()
except:
pass
if not data and src2:
try:
req = urllib.request.Request(src2, headers=MySpider.headers)
resp = urllib.request.urlopen(req, timeout=10)
data = resp.read()
except:
pass
if data:
print("download begin", mFile)
fobj = open(MySpider.imagePath + "\\" + mFile, "wb")
fobj.write(data)
fobj.close()
print("download finish", mFile)
创建图片存放目录：
imagePath = "download"
try:
if not os.path.exists(MySpider.imagePath):
os.mkdir(MySpider.imagePath)
images = os.listdir(MySpider.imagePath)
for img in images:
s = os.path.join(MySpider.imagePath, img)
os.remove(s)
except Exception as err:
print(err)
3.创建mysql数据库
# 连接mysql数据库
print("opened")
try:
self.con = pymysql.connect(host="127.0.0.1", port=3306, user="root",
password="hts2953936", database="mydb", charset="utf8")
self.cursor = self.con.cursor(pymysql.cursors.DictCursor)
self.opened = True
# flag = False
except Exception as err:
print(err)
self.opened = False
插入数据到数据表中：
# 插入数据
self.cursor.execute("insert into phone (Pno,Pmark, Pprice, Pnote, PmFile) values (%s,%s,%s,%s,%s)",(no, mark, price, note, mFile))
- 结果查看
控制台输出：
数据库中查看结果：
图片：
2）、心得体会
本次实验是对之前实验的复现，巩固了Selenium模拟爬取京东的数据，以及下载图片。复习了selenium爬取方法和翻页，巩固了对数据库的操作
作业②：
要求：
熟练掌握 Selenium 查找HTML元素、实现用户模拟登录、爬取Ajax网页数据、等待HTML元素等内容。
使用Selenium框架+MySQL模拟登录慕课网，并获取学生自己账户中已学课程的信息保存到MySQL中（课程号、课程名称、授课单位、教学进度、课程状态，课程图片地址），同时存储图片到本地项目根目录下的imgs文件夹中，图片的名称用课程名来存储。
-
候选网站：中国mooc网：https://www.icourse163.org
-
输出信息：MYSQL数据库存储和输出格式
表头应是英文命名例如：课程号ID，课程名称：cCourse……，由同学们自行定义设计表头：
Id cCourse cCollege cSchedule cCourseStatus cImgUrl 1 Python网络爬虫与信息提取 北京理工大学 已学3/18课时 2021年5月18日已结束 http://edu-image.nosdn.127.net/C0AB6FA791150F0DFC0946B9A01C8CB2.jpg 2......
1）、selenium爬取mooc数据
- 编写函数start
初始化driver
chrome_options = Options()
# 设置启动chrome时不可见
# chrome_options.add_argument('--headless')
# chrome_options.add_argument('--disable-gpu')
# 创建options
self.driver = webdriver.Chrome(chrome_options=chrome_options)
url = 'https://www.icourse163.org/'
self.driver.get(url)
将窗口最大化（方便寻找结点）并设置反监听,防止网页检测到selenium
self.driver.maximize_window()
self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
在慕课初始页面中模拟点击登录按钮
随后模拟点击其他登录方式
接下来点击手机号登录
代码如下
loginbutton = self.driver.find_element_by_xpath('//div[@class="_1Y4Ni"]/div')
time.sleep(3)
loginbutton.click()
time.sleep(3)
button2 = self.driver.find_element_by_xpath('//span[@class="ux-login-set-scan-code_ft_back"]')
button2.click()
time.sleep(3)
button3 = self.driver.find_element_by_xpath('//ul[@class="ux-tabs-underline_hd"]/li[position()=2]')
button3.click()
time.sleep(3)
在进行到这一步时，接下来的一步是定位到两个文本框的位置，随后用sendkeys方法输入数据
但是在这一步是需要注意到，文本框的结点是存储在frame框架结点下的document内容中的：
所以文本框直接利用find_element_by_xpath是定位不到的，需要先定位到frame结点，调用switch_to.frame方法后才能爬取到
代码如下：
frame = self.driver.find_element_by_xpath('/html/body/div[position()=13]/div[position()=2]/div/div/div/div/div/div[position()=1]/div/div[position()=1]/div[position()=2]/div[position()=2]/div/iframe')
self.driver.switch_to.frame(frame)
查找两个文本框并利用sendkeys输入内容
account = self.driver.find_element_by_xpath('/html/body/div[position()=2]/div[position()=2]/div[position()=2]/form/div/div[position()=2]/div[position()=2]/input')
account.send_keys('18016776126')
password = self.driver.find_element_by_xpath('/html/body/div[2]/div[2]/div[2]/form/div/div[4]/div[2]/input[2]')
password.send_keys("hts2953936")
输入后点击登录按钮
loginbutton2 = self.driver.find_element_by_xpath('/html/body/div[2]/div[2]/div[2]/form/div/div[6]/a').click()
time.sleep(10)
这里设置一个time.sleep(10)是因为有时候会出现需要手动拖动拼图验证码，这部分实现起来比较费时，以后有时间可以花时间研究下。
进入页面后模拟点击我的课程
mycourses = self.driver.find_element_by_xpath('/html/body/div[position()=4]/div[position()=2]/div[position()=1]/div/div/div[position()=1]/div[position()=3]/div[position()=4]/div').click()
time.sleep(3)
这样之后就成功利用selenium的模拟登录进入了我们的课程页面了，可以开始下一步爬取
- 编写processSpider函数对页面信息进行爬取
定位含课程信息的结点
body = self.driver.find_elements_by_xpath('//div[@class="course-card-wrapper"]')
遍历结点爬取数据，下载图片，插入数据库：
for i in body:
count += 1
cid = count
img = i.find_element_by_xpath('.//div[@class="img"]/img').get_attribute('src')
schedule = i.find_element_by_xpath('.//span[@class="course-progress-text-span"]').text
college = i.find_element_by_xpath('.//div[@class="school"]').text
title = i.find_element_by_xpath('.//div[@class="title"]/div/span[position()=2]').text
coursestatus = i.find_element_by_xpath('.//div[@class="course-status"]').text
downloadurl = img
file = "C:/Users/86180/Desktop/Data Collection/imgs/" + "course no." + str(count) + " pic no."+".jpg"
urllib.request.urlretrieve(downloadurl, filename=file)
print("course no." + str(count) + " download completed")
print("insert into mooc (cid,cCourse,cCollege,cShedule,cCourseStatus,cImgUrl) values (%s,%s,%s,%s,%s,%s)",(cid,title,college,schedule,coursestatus,img))
# 执行插入数据库操作
if self.opened:
self.cursor.execute("insert into mooc (cid,cCourse,cCollege,cShedule,cCourseStatus,cImgUrl) values (%s,%s,%s,%s,%s,%s)",
(cid,title,college,schedule,coursestatus,img))
print("-------------------------------")
爬取完一页信息后进行翻页操作：
在页面中ul[@class="ux-pager"]结点下包含页面信息，该结点下的li结点中在倒数第二位的是所学课程的最后一页的页号（即下一页的前一个兄弟结点）
所以获取该结点下的页号信息：
page = self.driver.find_element_by_xpath('//ul[@class="ux-pager"]/li[position()=last()-1]/a').text
利用selenium模拟点击，并递归调用processSpider函数进行翻页：
if not flag == int(page):
flag +=1
nxpgbutton = self.driver.find_element_by_xpath('//li[@class="ux-pager_btn ux-pager_btn__next"]/a')
nxpgbutton.click()
time.sleep(5)
self.processSpider()
- 最后查看结果：
数据库中：
图片：
作业2码云链接
心得体会：
本次实验考察用selenium模拟登录，步骤上就是逐步定位按钮的位置，通过click方法进行点击按钮，在模拟登录时对文本框输入数据则使用send_keys方法，mooc网站的文本框较为特殊，保存于iframe 的#document中,无法直接定位，需要通过调用 driver.switch_to.frame()转入该结点下的新的html中，然后再进行定位。进入后的爬取等操作就比较熟悉了。在进行模拟登录的过程中出现的问题：短时间内多次登录后，在登陆的时候有时会弹出拼图验证码。
作业③：
- 作业③：
要求：
理解Flume架构和关键特性，掌握使用Flume完成日志采集任务。
完成Flume日志采集实验，包含以下步骤：
任务一：开通MapReduce服务
任务二：Python脚本生成测试数据
任务三：配置Kafka
任务四：安装Flume客户端
任务五：配置Flume采集数据
实验过程
任务一：开通MapReduce服务
(购买开通MapReduce服务，环境搭建，以便后续实验使用)
任务二：Python脚本生成测试数据
步骤1：编写Python脚本
1）使用Xshell 7连接服务器
2）进入/opt/client/目录，使用vi命令编写Python脚本：vi autodatapython.py
（这里直接用xftp7将本地的autodatapython.py文件上传至服务器/opt/client/目录下即可，不必再使用vi/vim命令，以免出错，难以修改，后面上传Flume客户端也是一样。）
步骤2：创建目录
使用mkdir命令在/tmp下创建目录flume_spooldir，我们把Python脚本模拟生成的数据放到此目录下，后面Flume就监控这个文件下的目录，以读取数据。
命令：mkdir /tmp/flume_spooldir/步骤3:测试执行
执行Python命令，测试生成100条数据
命令：python autodatapython.py "/tmp/flume_spooldir/test.txt" 100 more /tmp/flume_spooldir/test.txt
任务三：配置Kafka
步骤1:设置环境变量
首先设置环境变量，执行source命令，使变量生效
步骤2:在kafka中创建topic（注意更换为自己Zookeeper的ip，端口号一般不动）
执行如下命令创建topic，替换实际Zookeeper的IP/opt/client/Kafka/kafka/bin/kafka-topics.sh --create --zookeeper 172.16.0.74:2181/kafka --partitions 1 --replication-factor 1 --topic fludesc步骤3：查看topic信息
/opt/client/Kafka/kafka/bin/kafka-topics.sh --list --zookeeper 172.16.0.74:2181/kafka
任务四：安装Flume客户端
步骤1:打开flume服务界面
进入MRS Manager集群管理界面，打开服务管理，点击flume，进入Flume服务
步骤2:点击下载客户端
点击确定，等待下载
下载完成后会有弹出框提示下载到哪一台服务器上（这台机器就是Master节点），路径就是/tmp/MRS-client：步骤3:解压下载的flume客户端文件
使用Xshell7登录到上步中的弹性服务器上，进入/tmp/MRS-client目录
执行以下命令，解压压缩包获取校验文件与客户端配置包tar -xvf MRS_Flume_Client.tar步骤4:校验文件包
执行命令：sha256sum -c MRS_Flume_ClientConfig.tar.sha256界面显示如下信息，表明文件包校验成功：
步骤5:解压“MRS_Flume_ClientConfig.tar”文件
执行以下命令：tar -xvf MRS_Flume_ClientConfig.tar步骤6:安装Flume环境变量
执行以下命令，安装客户端运行环境到新的目录“/opt/Flumeenv”，安装时自动生成目录。sh /tmp/MRS-client/MRS_Flume_ClientConfig/install.sh /opt/Flumeenv查看安装输出信息，如有以下结果表示客户端运行环境安装成功：
Components client installation is complete配置环境变量，执行命令：
source /opt/Flumeenv/bigdata_env步骤7:解压Flume客户端
执行命令：cd /tmp/MRS-client/MRS_Flume_ClientConfig/Flume tar -xvf FusionInsight-Flume-1.6.0.tar.gz步骤8:安装Flume客户端
安装Flume到新目录”/opt/FlumeClient”，安装时自动生成目录。
执行命令：sh /tmp/MRS-client/MRS_Flume_ClientConfig/Flume/install.sh -d /opt/FlumeClient“-d”：表示Flume客户端安装路径。
系统显示以下结果表示客户端运行环境安装成功：install flume client successfully。步骤9:重启Flume服务
执行一下命令：cd /opt/FlumeClient/fusioninsight-flume-1.6.0 sh bin/flume-manage.sh restart
任务五：配置Flume采集数据
步骤1:修改配置文件（注意更换为自己Kafka的ip，端口号一般不动）
进入Flume安装目录cd /opt/FlumeClient/fusioninsight-flume-1.6.0/在conf目录下编辑文件properties.properties(同样是建议把内容复制到本地文件，修改ip地址后用Xshell上传到服务器，而不是直接vi/vim往里面复制)
步骤2:创建消费者消费kafka中的数据
执行命令：/opt/client/Kafka/kafka/bin/kafka-console-consumer.sh --topic fludesc --bootstrap-server 192.168.0.54:9092 --new-consumer --consumer.config /opt/client/Kafka/kafka/config/consumer.properties注：此处bootstrap-server的ip对应的是Kafka的Broker的IP。
执行完毕后，在新开一个Xshell 7窗口(右键相应会话-->在右选项卡组中打开)，执行2.2.1步骤三的Python脚本命令，再生成一份数据，查看Kafka中是否有数据产生，可以看到，已经消费出数据了：
心得体会
理解Flume架构和关键特性，掌握了使用Flume完成日志采集任务。学习了在华为云平台上进行资源申请和释放。
