费弗里

摘要： 一、简介 Shp格式是GIS中非常重要的数据格式，主要在Arcgis中使用，但在进行很多基于网页的空间数据可视化时，通常只接受GeoJSON格式的数据，众所周知JSON（JavaScript Object Nonation）是利用键值对+嵌套来表示数据的一种格式，以其轻量、易解析的优点，被广泛使用与 阅读全文

摘要： 一、简介 kepler.gl是由Uber开发的进行空间数据可视化的开源工具，是Uber内部进行空间数据可视化的默认工具，通过其面向Python开放的接口包keplergl，我们可以在jupyter notebook中通过书写Python代码的方式传入多种格式的数据，在其嵌入notebook的交互窗口 阅读全文

摘要： 一、简介 HDF5（Hierarchical Data Formal）是用于存储大规模数值数据的较为理想的存储格式，文件后缀名为h5，存储读取速度非常快，且可在文件内部按照明确的层次存储数据，同一个HDF5可以看做一个高度整合的文件夹，其内部可存放不同类型的数据。在Python中操纵HDF5文件的方 阅读全文

摘要： 一、简介 seaborn是Python中基于matplotlib的具有更多可视化功能和更优美绘图风格的绘图模块，当我们想要探索单个或一对数据分布上的特征时，可以使用到seaborn中内置的若干函数对数据的分布进行多种多样的可视化，本文以jupyter notebook为编辑工具，针对seaborn中 阅读全文

摘要： 一、简介 xpath作为对网页、对xml文件进行定位的工具，速度快，语法简洁明了，在网络爬虫解析内容的过程中起到很大的作用，除了xpath的基础用法之外（可参考我之前写的（数据科学学习手札50）基于Python的网络数据采集-selenium篇），xpath中还存在着非常之多的进阶用法，本文将对笔者 阅读全文

摘要： 一、简介 主流被使用的地理坐标系并不统一，常用的有WGS84、GCJ02（火星坐标系）、BD09（百度坐标系）以及百度地图中保存矢量信息的web墨卡托，本文利用Python编写相关类以实现4种坐标系统之间的互相转换。 二、代码及说明 import math class LngLatTransfer( 阅读全文

摘要： 一、简介 shp格式的文件是地理信息领域最常见的文件格式之一，很好的结合了矢量数据与对应的标量数据，而在Python中我们可以使用pyshp来完成创建shp文件的过程，本文将从如何从高德地图获取矢量信息开始，最终构造出相应的shp文件，并利用R中的leaflet进行可视化； 二、数据获取及清洗 2. 阅读全文

摘要： 一、简介 在实际工作中，遇到数据中带有缺失值是非常常见的现象，简单粗暴的做法如直接删除包含缺失值的记录、删除缺失值比例过大的变量、用0填充缺失值等，但这些做法会很大程度上影响原始数据的分布或者浪费来之不易的数据信息，因此怎样妥当地处理缺失值是一个持续活跃的领域，贡献出众多巧妙的方法，在不浪费信息和不 阅读全文

摘要： 一、简介 经常利用Python进行数据可视化的朋友一定用过或听说过plotly这样的神器，我在（数据科学学习手札43）Plotly基础内容介绍中也曾做过非常详细的介绍，其渲染出的图像以浏览器为载体，非常精美，且绘制图像的自由程度堪比ggplot2，其为R也提供了接口，在plotly包中，但对于已经习 阅读全文

摘要： 一、引言 爬取过大众点评的朋友应该会遇到这样的问题，在网页中看起来正常的文字，在其源代码中变成了下面这样： 究其原因，是因为大众点评在内容上设置的特别的反爬机制，与某些网站替换底层字体文件不同，大众点评使用随机替换的SVG图片来替换对应位置的汉字内容，使得我们使用常规的手段无法获取其网页中完整的文字 阅读全文