【数据库】听故事的故事人

<div "="" id="js_content" style="margin: 0px; padding: 0px; overflow: hidden; font-size: 17px; overflow-wrap: break-word; hyphens: auto; text-align: justify; position: relative; z-index: 0;">

“ 美好的故事，不仅要听，也要记！”

 

经过上次对《故事FM》进行爬虫【爬虫】听故事的故事人，我们得到了我们想要对评论数据，格式化的数据给人一种很舒心的感觉，但是，数据得到了，那我们总得保存它吧！用看的没法进行下一步的操作呀～

 

 

 

01

—

 

 

储存方式选择

 

 

在数据储存方式有很多种，我们需要根据数据的格式、类型、数据量和后期的数据处理设想来选择适合我们的储存方式。在数据量较小，数据后期可能直接提供给他人查看使用的情况下，通常使用便于非编程人员使用的csv、txt或者json等易于操作的储存格式；在数据结构化，且数据量一般的情况下，可使用数据库储存；如最常用的mysql、轻量级数据库sqlite、文本型数据库mongoDB等；数据量太大的话，可以考虑hdfs分布式储存使用。

这里由于评论数据文本短、数据量不大、后期需要数据处理的缘故，我们选择轻量级数据库SQLite储存评论数据。

SQLite是一个进程内的库，实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库，这意味着与其他数据库一样，您不需要在系统中配置。

 

 

02

—

那就干！

 

设计数据库：

根据爬虫所得数据，我们可以建立两个数据库：歌名--ID映射的菜单数据库和评论爬虫的格式化数据库。

 

数据库语句：

1 2 3 4 5 6 7 8 9 10 11 12

-- 注：语句为python执行语句 -- 创建菜单数据库 CREATE TABLE music_dic (music_id real, music_name text, time text); -- 菜单信息，有则更新，无则插入 REPLACE INTO music_dic VALUES(?,?,?); -- 新建评论数据库 CREATE TABLE IF NOT EXISTS music + str(music_id) + (music_name text, comment_id real ,user_id text,user_name text,avatar_url text,comment_time real,liked_count real,comment text); -- 插入爬虫数据 INSERT INTO music"+str(music_id)+" VALUES(?,?,?,?,?,?,?,?);

 

这样我们想要的评论爬虫数据就被我们收入囊中了，嘻嘻～

 

 

关注微信公众号：正版乔，一起和我探索Coding的乐趣～

 

 

推荐阅读：

• NES像素风格的Raspberry

• dalao自动报表邮件2.0

• 我给大佬写自动报表邮件系统

• 网速问题？更换国内源吧！

• SQL行列乾坤大挪移

• 呵呵气象台

• 【爬虫】听故事的故事人

 

 

 

---

一个学统计的程序员

喜欢Coding

喜欢硬件

喜欢树莓派

喜欢深度学习

喜欢你