09 2019 档案
摘要:一、功能描述 用爬虫爬取#我们的叁叁肆#下的微博,然后再爬取他们的个人主页信息,获取年龄、地区、性别等信息,然后用数据分析,再可视化呈现。 注意:文中说的微博个人主页信息均为微博公开信息,不包含任何隐私信息,同时全文中将不会出现任何人的个人信息,信息仅用于学习分析,任何人不得使用此教程用作商用,违者
阅读全文
摘要:一、目标 使用Python分析出国庆哪些旅游景点:好玩、便宜、人还少的地方,不然拍照都要抢着拍! 二、获取数据 爬取出行网站的旅游景点售票数据,反映出旅游景点的热度。这里选择爬取“去哪儿”网。 1.爬取单页数据 我们可以在哪去儿的门票页(http://piao.qunar.com/ticket/li
阅读全文
摘要:一、功能描述 想用我们现代的大案牍术来分析一下《长安十二时称》这部电视剧到底为什么会火,大家都对这部电视剧的评价是什么样的?(所有弹幕最高频的900个词) 二、技术方案 1、分析优酷弹幕的加载方式然后使用requests库爬取 2、抓取整部剧所有集的所有弹幕 3、重点做数据清洗,比如:剧情、人名、高
阅读全文
摘要:本文中所用的到第三方库有: requests jieba numpy Pillow wordcloud matplotlib 前言: 基于很多人没有体验过充气娃娃是什么感觉,但是又很好奇,所以希望通过爬虫+数据分析的方式直观而真实的告诉大家(下图为成品图) 一、技术方案 1、分析狗东评论数据的请求u
阅读全文
摘要:一、进程以及状态 1、进程 正在运行的应用程序就是一个进程。进程是资源分配的基本单元。 Python多进程可以在多核CPU上运行,多进程充分利用了多核的资源。 2. 进程的状态 工作中,任务数往往大于cpu的核数,即一定有一些任务正在执行,而另外一些任务在等待cpu进行执行,因此导致了有了不同的状态
阅读全文
摘要:并发:指的是任务数多余cpu核数,通过操作系统的各种任务调度算法,实现用多个任务“一起”执行(实际上总有一些任务不在执行,因为切换任务的速度相当快,看上去一起执行而已) 并行:指的是任务数小于等于cpu核数,即任务真的是一起执行的 一、线程的概念 线程是一个进程内部的一条执行路径,是程序执行的最小单
阅读全文