如果通过POWER BI爬取网页信息
问题描述:
同事想收集电商网站上面的竞品信息,再通过使用POWER BI作为分析工具,进行相关的分析。
今天过来找我询问,是否有合适的工具可以方便抓取到页面上面的竞品信息?
解决方案:
通过POWER BI Desktop自带功能实现抓取网页上面的信息。
优势就是出成果快。
再给同事讲解如何操作后,总结一下也同样分享给大家参考。
举个例子,由于本人爱喝咖啡,所以我们以咖啡产品为例,如何通过POWER BI Desktop抓取网页数据作为数据源。
1,打开一个电商站点,比如打开京东,我们搜索“咖啡”, 然后拷贝web 链接地址;
![](https://pica.zhimg.com/80/v2-a92114e6129b9ae6671afe55277e6b54_1440w.png)
2,打开POWER BI Desktop软件,点击功能区【Home】->【Get data】-> 【Web】;
![](https://picx.zhimg.com/80/v2-617a2de60492129e309be65cce77f219_1440w.png)
3, 把拷贝京东web 链接地址到 URL输入框中,然后 【OK】 确认;
![](https://picx.zhimg.com/80/v2-6f335717d99625b18901ea1ddecabd1e_1440w.png)
4,POWER BI会自动在左侧生成建议内容,你可以分别打开每一个Table表,预览其中的内容,选择适合你的Table表。 由于生成的列很多,所以点击【Transform Data】,需要对生成的信息进行数据清洗;
![](https://picx.zhimg.com/80/v2-3cfb530c2d53c88e672888f89355c1a5_1440w.png)
5,根据生成的内容,对表头进行重命名,删除不必要的列表,补充一些信息等等;
![](https://picx.zhimg.com/80/v2-6ffbb81905271676dd7e253f23b5c784_1440w.png)
6,清洗完毕后,点击【Close & Apply】;
最后我们就可以拿到一张数据质量不错的,各个品牌咖啡价格,名称,经销商名称,评价数量等信息。作为数据源,在Power BI Desktop设计页面就可以进行相关报告开发工作了。
![](https://picx.zhimg.com/80/v2-c5a0842c5811435739711294005409c5_1440w.png)
最后总结,通过了解和学习本文介绍,大家了解Power BI包含网页抓取信息的功能。很多时候非常适合做一些小的demo测试,验证业务逻辑。 建议大家亲自做一些练习,便于增加自己的体会和吸收。
希望本文可以帮助到大家。
* 牛猫Data 原创文章,转载请注明出处!