pyspark列合并为一行
摘要：将 dataframe 利用 pyspark 列合并为一行，类似于 sql 的 GROUP_CONCAT 函数。例如如下 dataframe : + + + | s| d| + + + |abcd|123| | asd|123| + + + 需要按照列相同的列 d 将 s 合并，想要的结果为： +
阅读全文
posted @ 2018-12-29 16:09
12 2018 档案
链家二手房楼盘爬虫
摘要：前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 万！平均 万/平： 查看请求信息 本次用的是火狐浏览器32.0配合 和 使用，基于 环境，前期步骤： 1. 首先打开 浏览器，清除网页所有的历史纪录，这是为了防止以前的 影响服务
阅读全文
posted @ 2018-12-24 11:20
hive删除表和表中的数据
摘要：hive删除表和表中的数据，以及按分区删除数据 hive删除表： hive删除表中数据： hive按分区删除数据：
阅读全文
posted @ 2018-12-14 11:42
csdn阅读更多需要注册登录csdn
摘要：csdn目前设置每日使用5次后必须登录才能看到阅读更多的内容，异常恶心。因此搜罗了方法去解决这个问题 方法一 打开想看的 后，在 里边执行以下代码： 方法二： 在如下网址下载 并安装，目前测试只能用于 : "GreasFork"
阅读全文
posted @ 2018-12-04 10:27
