自动化制药设备信息收集脚本

自动化制药设备信息收集脚本

简介

​ 本脚本主要是基于python开发，主要用到的技术有前端HTML技术，python基础知识，bs4库和python自动化知识

优点

​ 可以让繁琐的工作更加的简单化，当我们面对众多的制药设备时，我们可以爬取想要的设备，来获取最好的设备，也可以在价格上找到优势，来降低不必要的损失。

​ 代码简单，方便易懂，可拓展性强

代码

import requests
import bs4
import csv
import time
import os


def machine_spider(name, page):#name参数是关键字，page参数是下载的页数
    try:
        for new_page in range(1, int(page) + 1):
            url = 'http://www.jixiewz.com/search.html?t=item&kw=' + name + '&pn=' + str(new_page)
            header = {
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
            grab = requests.get(url, headers=header)
            time.sleep(0.05)
            grab.raise_for_status()
            grab.encoding = grab.apparent_encoding
            website_analysis = bs4.BeautifulSoup(grab.text)
            sum_element = website_analysis.find('div', class_="right-bar").find('span').text
            element = website_analysis.find_all('div', class_='conttext')
            with open('search_machine' + '第' + str(new_page) + '页' + '.csv', mode='w+', encoding='utf-8') as file:
                for i in element:
                    b = i.find('p', class_="p-title")
                    company_url = b.find('a').get('href')
                    machine = b.find('a').get('title')
                    price = i.find('div', title="价格详情").text
                    csv_writer = csv.writer(file)
                    csv_writer.writerow([company_url, machine, price])
            file.close()
            grab.close()
    except Exception as e:
        print('------有错误-------')


def del_csv():
    for filename in os.listdir():
        if filename.endswith('.csv'):
            os.unlink(filename)

代码运行的效果

我下载的是以蒸馏为关键字，爬取的页数为10页，这是其中一页的数据

http://www.jixiewz.com/321265587.html,新轻机械供应夏朗德蒸馏机组,￥38000

http://www.jixiewz.com/321063387.html,新轻机械供应果渣蒸馏机组,￥50000

http://www.jixiewz.com/322019390.html,新轻机械白兰地蒸馏加工定制保证质量,￥38000

http://www.jixiewz.com/322092553.html,新轻机械小型家用蒸馏机组质量承保加工定制,￥20000

http://www.jixiewz.com/350161881.html,LB-600L智能一体化蒸馏仪的组成,￥36899

http://www.jixiewz.com/269252546.html,四川宜宾全自动称重蒸馏仪CYZL-6同时萃取蒸馏装置参数,价格面议

http://www.jixiewz.com/324625578.html,湖南长沙一体化蒸馏仪CYZL-6氨氮蒸馏装置特点,价格面议

http://www.jixiewz.com/111218476.html,WH632-1型液体石油沥青蒸馏试验器/规格,￥1750

http://www.jixiewz.com/228723737.html,辽宁家用蒸馏酿酒设备：奇异果酒制作方法-唐三镜黄惠玲,价格面议

http://www.jixiewz.com/228722716.html,福建小型蒸馏酿酒设备：半固态发酵酿酒方法-唐三镜黄惠玲,价格面议

http://www.jixiewz.com/351822819.html,LB-600L智能一体化蒸馏仪,￥8888

http://www.jixiewz.com/362477184.html,"上海仝莫水蒸馏蒸馏提取器,环保上海仝莫植物精油提取设备造型美观",￥26900

http://www.jixiewz.com/362180454.html,"上海仝莫水蒸馏蒸馏提取器,上海仝莫植物精油提取设备安全可靠",￥26900

http://www.jixiewz.com/360806576.html,"上海仝莫水蒸馏蒸馏提取器,艾草精油提取设备",￥26900

http://www.jixiewz.com/360224481.html,"矩源精油提取设备,热门矩源精油蒸馏设备操作简单",￥20600

http://www.jixiewz.com/360392587.html,"矩源蒸馏精油设备,新款矩源精油蒸馏设备厂家直销",￥20600

http://www.jixiewz.com/362831976.html,"先进精油蒸馏设备性能可靠,蒸馏精油设备",￥20600

http://www.jixiewz.com/362818239.html,"矩源精油设备,防震精油蒸馏设备操作简单",￥20600

http://www.jixiewz.com/362808711.html,"升级矩源精油蒸馏设备效率高,蒸馏精油设备",￥20600

http://www.jixiewz.com/362098045.html,"矩源精油提取设备,坚实精油蒸馏设备性能可靠",￥20600