团队问题总结

1.爬取Python数据时，爬取的页面是动态加载的，正常的requsets请求无法获取内容。
解决：用selenium解析，然后获取其HTML内容，再用re解析，获取里面的JSON数据。

2.爬取数据时，有时无法存入数据。
解决：sql语句错误，sql语句里面的数据名与mysql关键字重复。

3.前端页面获取动态的时间
解决：JavaScript： <script>
var t = null;
t = setTimeout(time, 1000); //開始运行
function time() {
clearTimeout(t); //清除定时器
dt = new Date();
var y = dt.getFullYear();
var mt = dt.getMonth() + 1;
var day = dt.getDate();
var h = dt.getHours(); //获取时
var m = dt.getMinutes(); //获取分
var s = dt.getSeconds(); //获取秒
document.querySelector(".showTime").innerHTML =
"当前时间：" +
y +
"年" +
mt +
"月" +
day +
"-" +
h +
"时" +
m +
"分" +
s +
"秒";
t = setTimeout(time, 1000); //设定定时器，循环运行
}
</script>

4.在前端页面加载时获取数据库里的内容
使用jQuery在页面加载时发送Ajax请求

5.不知道如何在servlet里存储数据库内容
使用HashMap存储键值对

6.前端获取到的内容是字符串格式，不是JSON数据
设置response（application/JSON），在前端JavaScript里使用eval("("+data+")")将数据转换为JSON数据

7.前端获取到的数据无法转换为JSON数据
实际上转换成功了，只是不知道怎么取出里面的内容，取出内容用for（var key in data）

8.不知道怎么把表格放到页面合适的位置
使用flexible布局，将内容放到一个容器里，然后设置table width=100%
9.数据不知道怎么放入echarts里面

将获取到的JSON数据的key值和value值放入两个数组中，再转换为JSON数据，再放到echarts里的指定位置

10.获取到的JSON数据和echarts表里面的JSON数据格式不同
将获取到的JSON数据手动用字符串拼接成echarts表里面的JSON字符串，再进行转换

11.爬取数据并存储时速度过慢
使用线程池爬取

12.在一个函数里发送两个请求，获取到的数据混乱
在两个请求间写一个for循环，i从1到10000