摘要：随着人们获取信息的方式转变，越来越多的人选择通过互联网来进行信息的获取。 新浪财经作为国内较为权威的专业财经新闻网站，通过其发布的新闻资讯可以判断某公司在近期舆论中的情况。 第一步：网络爬虫 这里不再讲，和以往的相比增加了获取新闻内容。 第二步：设计关键字（词） 一些对于金融机构不好的词（初试，不精 阅读全文

摘要：一.窗口函数有什么用？在日常工作中，经常会遇到需要在每组内排名，比如下面的业务需求： 排名问题：每个部门按业绩来排名topN问题：找出每个部门排名前N的员工进行奖励 面对这类需求，就需要使用sql的高级功能窗口函数了。 二.什么是窗口函数？ 窗口函数，也叫OLAP函数（Online Anallyti 阅读全文

摘要：前面讲到过如何获取新浪财经金融类新闻的方法，现在讲如何将这些数据存入到MySQL数据库。 在这里需要使用的是Wampserver64， 图标如下： 具体的安装过程就不说了，需要注意的是Apache和MySQL端口占用的问题，进行端口替换就可以了。 安装成功后的Wampserver为在托盘中的一个绿色 阅读全文

摘要：数据仓库-拉链表, 流水表, 全量表, 增量表, 切片表 1 增量表1.1 概念 增量表：新增数据，增量数据是上次导出之后的新数据。比如说，从24号到25号新增了那些数据，改变了哪些数据，这些都会存储在增量表的25号分区里面。 记录每次增加的量，而不是总量；增量表，只报变化量，无变化不用报每天一个分 阅读全文

摘要：物联网对于数据的处理能力要求很高，怎么能够从庞大的数据海中挖掘一些有价值的信息对于物联网的发展至关重要，因此云计算，雾计算，边缘计算等等都将发挥其左右。 未来的世界将是一个万物互联的时代，随着物联网行业技术标准的完善以及关键技术上的不断突破，数据大爆炸时代将越走越近。就拿从2016年底开始风靡全国甚 阅读全文