爬取高考数据库数据实现中一些小方法

1，把‘--’转换成‘0’

def toZero(sth):
    if sth!='--' and sth!=None and sth!='':
       return sth
    else:
       return '0'

2，为构件sql语句中的引号添加转义符

def trmean(str):
    return re.sub('\'|\"',r'\"',str)

3，模拟页面操作selenium的实现

def getScore():
    print('start')
    arr=[307,318,596]
    driver = webdriver.Chrome()
    time.sleep(10)
    for id in arr:
        url='https://gkcx.eol.cn/school/{}/specialtyline'.format(id)
        driver.get(url)
        driver.implicitly_wait(20)
        titles = driver.find_element_by_class_name('scoreLine-table').text
        print(titles)
        print("页面{}完毕".format(id))

4，从数据库查询获取按照sql语句返回查询json格式的数据

def queryAsJson(sql):
    print('开始从数据库获取数据')
    # 获取查询的条目
    items=re.search(r'select.*from',sql,re.I).group()[6:-4].split(',')
    qjson=[]
    db = database.getConnect('whereto')
    cursor = db.cursor()
    cursor.execute(sql)
    results=cursor.fetchall()
    for row in results:
        item={}
        for idex,i in enumerate(items):
            it=str(i).strip()
            item[it]=row[idex]
        qjson.append(item)
    cursor.close()
    db.commit()
    db.close()
    print('查询完毕！')
    return qjson

 

selenium