随笔分类 - Python
摘要：1. JSON与JsonPATH JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Pyt
阅读全文
摘要：1. 介绍 之前 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath "官网" http://lxml.d
阅读全文
摘要：今天在爬一个网站的时候，各个国家的名称是中文的，但要使用pyecharts.map绘图时要输入的国家名称却是英文的。 这时就需要一个字典来实现中英文名称的映射关系： nameMap = { 'Singapore Rep.':'新加坡', 'Dominican Rep.':'多米尼加', 'Pales
阅读全文
摘要：0 需求 爬取拉勾网（https://www.lagou.com/）上与“嵌入式软件”关键字有关的职位信息。 1 分析 在网页的源代码中搜索我们所要的信息（公司名称等），无匹配，说明是数据动态获取的 打开检查工具，重新刷新网页，从Network下抓取到的包中找到返回数据的包。（可以使用XHR和JS标
阅读全文
摘要：python版本:3.6 测试日期：2020-03-22 联系邮箱：betterWL@hotmail.com 1 分析—— 不同的网站请求数据的方式可能不一样，有静态的、动态的，还有的可能有各种反爬虫机制保护。 所以用到的爬虫方法也不一样，在想着爬取之前我们要先对网站进行分析 有道翻译web版url
阅读全文
摘要：有些大体积的IDE会有自带头部信息的功能， 刚开始学python的我，使用的是VSCode，没有发现有插件可以完成（似乎有C的） 但是也可以通过在VSCode中自定义User Snippets(用户代码段)来实现类似的功能 1 配置方法 打开VScode——File——Preference——Use
阅读全文
摘要：豆瓣这个网站做网络爬虫的例子教学是极好的，我这个入门者今天也来分享下自己的第一个爬虫例程~ (●'◡'●) 爬虫的过程由数据获取+数据解析来组成： 检查网站约束—— 在爬取数据之前有一点是一定要注意的，并不是所有的网站都允许我们去随意的爬取数据，因为这可能设计一些安全等问题。 那么如何看你想爬取数据
阅读全文
摘要：添加对第三方库的支持—— 1 打开命令面板（Ctrl+Shift+P），搜索settings，打开setting.json 2 添加如下模块： "python.autoComplete.extraPaths": [ "D:/software/python3/Lib/site-packages", "
阅读全文
摘要：现在python这门解释型语言被越来越多的人们喜欢，强大的库支持，使得编程过程变得简单。 我是一个传统的C语言支持者，往后也打算慢慢的了解Python的强大。 今天我就学习一下使用python实现数据可视化。 参考：https://mp.weixin.qq.com/s/Nb2ci6d5MhoRoep
阅读全文
摘要：今天在Windows下通过Pycharm安装Tensorflow时遇到两个问题： 使用pip安装其实原理都相同，只不过Pycharm是图形化的过程！ 1、由于使用国外源总是导致Timeout 解决方法是在Pycharm中添加清华源 https://mirrors.aliyun.com/pypi/si
阅读全文
