【2020/2/6】寒假自学——学习进度报告13
开学的日子越来越捉摸不定了,唉。
今天主要是把北京市政百姓信件分析实战这个作业做了,因为之前一直摸鱼的关系,今天一天做了太多东西(还没做完)。
最首先是爬取数据,我在找到了读取列表的api,所以我几乎把爬取数据、清洗数据、挖掘数据全给跳过了。。(放心,之后我还是要做一遍,因为还有一些功能没完成以及另一个大作业)。
下面是爬取的python程序,希望给看我博客的同学一些启发。
import json import requests import csv, codecs from fake_useragent import UserAgent agent = UserAgent() url = "http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.mailList.biz.ext" requests = requests.Session() data = { "PageCond/begin": 0, "PageCond/length": 100, "PageCond/isCount": 'true' } response = requests.post(url, data, headers={"user-agent": agent.Safari}) result = response.json() csvfile = codecs.open('letter_title.csv', 'w', 'utf_8_sig') writer = csv.writer(csvfile, delimiter=',', quoting=csv.QUOTE_ALL) flag = True if flag: keys = list(result['mailList'][0].keys()) writer.writerow(keys) flag = False while True: response = requests.post(url, data, headers={"user-agent": agent.Safari}) result = response.json() data["PageCond/begin"] += 100 print(result['PageCond']) for line in result['mailList']: writer.writerow(list(line.values())) if result['PageCond']['isLast']: print("结束爬取") break csvfile.close()
通过直接读取北京首都之窗网站的api我直接下载到了所有几乎完全适合我用来做作业的数据,大致如下。
之后就是暂时数据的网站编写。
这次我尝试了Mybatis的mybatis-generator来自动代码生成、自动生成实体,直接就可以连接数据库了。
首先介绍下Mybatis。MyBatis是一个Java持久化框架,它通过XML描述符或注解把对象与存储过程或SQL语句关联起来。这是一个能自动生成SQL语句的映射引擎,能相当得简化数据库方面的工作,毕竟我实在不想对着一个空虚的ResultSet使劲查找然后一个个自己手动一个个装到java实体里面去(或者编一个自动装填工具类,但说实话挺麻烦,而且很憨)。
具体如何使用mybatis-generator可以参考mybatis三剑客之mybatis-generator,但不如官方文档,看官方文档可以少走很多弯路。
这次我使用的是MyBatis3DynamicSql,可以自动生成动态的SQL语句以及一些简单DAO层。
首先是项目结构。
页面设计修改了一个网上的bootstrap4的网页模板。好久没摸bootstrap简直陌生。。
总体就这样了。