摘要: 一、目标数据介绍 ​ 爬取对象为大众点评网北京地区“美食”标签下参照“人气”自动排序得到的750条餐馆数据,示例如下: 1.1 属性值介绍 ​ 需要爬取的属性值,如下表所示: 属性 命名 数据类型 店名 title str 星级评分 star float 评价数 review_num int 人均消 阅读全文
posted @ 2020-11-10 16:51 WeoSuper 阅读(10287) 评论(25) 推荐(1) 编辑
摘要: Unbuntu 18.04 LTS 环境下Python安装GDAL组件 // 非必要 sudo add-apt-repository ppa:ubuntugis/ppa sudo apt-get update // 必要 sudo apt-get install gdal-bin sudo apt- 阅读全文
posted @ 2020-10-30 16:55 WeoSuper 阅读(243) 评论(0) 推荐(0) 编辑
摘要: WSL Ubuntu 18.04 LTS + VS Code ​ WSL(Windows Subsystem for Linux)使得Windows用户能够在Windows系统上使用原生的Linux环境,为Windows环境下使用Linux环境提供了新的解决方案。 WSL Install Windo 阅读全文
posted @ 2020-10-27 16:56 WeoSuper 阅读(624) 评论(0) 推荐(0) 编辑
摘要: 最近实习,需要使用Python编程,其中牵涉到一些算法的编写。由于不熟悉Python,又懒得从头学,而且要写的算法自己之前又用Java实现过,就想着能不能用Python调用Java。经过查找资料,方法如下: Step 1——安装JPype扩展包 想要通过Python调用Java,需要借助JPype组 阅读全文
posted @ 2019-06-06 22:57 WeoSuper 阅读(505) 评论(0) 推荐(0) 编辑
摘要: Ubuntu 18.04.2 LTS美化方案记录 根据个人经验,我将Ubuntun美化分为四个部分:1)桌面;2)对话框界面;3)图标;4)登录及锁屏界面;5)终端。由于Ubuntu系统默认采用GNOME桌面环境,因此,一切美化工作都可以基于GNOME环境去做。接下来,依次进行介绍,所有资源如未特别 阅读全文
posted @ 2019-06-02 18:14 WeoSuper 阅读(2552) 评论(0) 推荐(1) 编辑
摘要: 原文:https://blog.csdn.net/sean_8180/article/details/81075659 1.更新资源$ sudo apt-get update$ sudo apt-get upgrade$ sudo apt dist-upgrade2.安装update-manager 阅读全文
posted @ 2019-05-30 23:22 WeoSuper 阅读(1143) 评论(0) 推荐(0) 编辑
摘要: 转载自:http://tech.meituan.com/spark-tuning-pro.html 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾 阅读全文
posted @ 2019-04-25 16:08 WeoSuper 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 转载自:https://tech.meituan.com/spark-tuning-basic.html 前言 在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计 阅读全文
posted @ 2019-04-25 15:29 WeoSuper 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 一、遗传算法原理介绍 遗传算法(Genetic Algorithm)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型,是一种通过模拟自然进化过程搜索最优解的方法。遗传算法是从代表问题可能潜在的解集的一个种群(population)开始的,而一个种群则由经过基因(gene)编码的一 阅读全文
posted @ 2019-04-18 17:23 WeoSuper 阅读(8762) 评论(0) 推荐(0) 编辑
摘要: 转载自http://www.chinaz.com/server/2013/0401/297942.shtml sar(System Activity Reporter系统活动情况报告)是目前 Linux 上最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告,包括:文件的读写情况、系统调 阅读全文
posted @ 2019-04-03 10:06 WeoSuper 阅读(4526) 评论(0) 推荐(0) 编辑