python dataframe 一行变多行
摘要：python代码报错： 'DataFrame' object has no attribute 'explode' 原因是pandas版本低于0.25，在0.25以上才有explode函数，所一不想升级的可以自己拆分 没有explode 原始数据： import pandas as pd df =
阅读全文
posted @ 2022-07-06 11:50
随笔分类 - python
pandas dataframe apply 传入外部参数 args
摘要：# !/usr/bin/python3 import pandas as pd # 如果x小于threshold就等于1，否则等于0 def juege_threshold(x,threshold): return 1 if x<=threshold else 0 data_dict={"value
阅读全文
posted @ 2022-05-12 10:37
plot_importance多分类、排序不匹配、图片数值不显示
摘要：多分类 params = {'booster': 'gbtree', 'objective': 'reg:squarederror', "learning_rate": 0.01, 'n_estimators': 500, "missing": -1} multioutputregressor_xg
阅读全文
posted @ 2022-01-24 15:36
conda install 下载慢 报错解决
摘要：下载失败 出现如下报错： 解决方法一 出现错误即是下载失败，配置清华大学镜像源： 解决方法二 如果清华大学镜像源里面没有这个库，那么还是会从原来的镜像 里面下载。 这里解决方法是使用 等其他下载器将 下载到本地，执行本地安装： 如果出现错误： 需要清理之前的缓存： 然后再重新执行本地安装
阅读全文
posted @ 2020-04-22 14:41
爬虫之抓js教程
摘要：在初学的爬虫过程中，很多人还不知道有些字段是如何生成的，怎样模拟生成这些字段来拼接头部。为了再次纪念【宏彦获水】成语初次面世，特地用【百度登陆】写下一篇登陆百度的教程，以供大家参考。 前面学习了如何在 的时候想服务器发送多变的请求数据，从而达到搜索的效果，而实际上 ！所以本文将要介绍如何向百度服务器
阅读全文
posted @ 2019-07-13 17:07
爬虫之抓包教程
摘要：在初学的爬虫过程中，很多人还不知道如何抓包，怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世，特地用【百度搜索】写下一篇作者常用工具的抓包教程，以供大家参考。 抓包过程中，一般是 的抓包和 抓包，其中 抓包分为： 普通get、带参数get、json抓包 ，其中 是重中之重。而 一般
阅读全文
posted @ 2019-07-07 16:29
Python3 打包exe
摘要：cx_Freeze（不推荐） 以前只用 支持将 打包成 ，示例如下： 在你要打包的 文件下新建这个 文件： 然后在当前命令行执行： 这时候会在当前目录下生成一个 文件，里面就有一个 注意： cx_Freeze 打包回忽略依赖文件，所有一般依赖文件要手动从 site packge 里面拷贝到build
阅读全文
posted @ 2019-05-13 10:40
淘宝天猫商品库存抓取分析
摘要：昨天收到公众号粉丝的爬虫需求： 因此花费两天时间抓取完成，基于 抓取， 可视化页面查看，目前支持网页可视化查看： 用途 实时监控竞品销量： 使用方式 下载代码 首先在我的 上面下载该项目的代码，项目地址为： "tbtmStore" 代码的结构路径为： static bootstrap.min.css
阅读全文
posted @ 2019-04-19 18:30
flask下载excel
摘要：`flask` 应用的基本结构： 将 "bootstrap.min.css" 放到 文件夹下，在 文件夹下新建 ，里面写入如下信息： 在 中写入如下内容： 运行在浏览器访问 "127.0.0.1:88" 可以看到新建的页面，在页面访问 "127.0.0.1/download" 可以下载生成的 :
阅读全文
posted @ 2019-03-28 16:22
pyspark列合并为一行
摘要：将 dataframe 利用 pyspark 列合并为一行，类似于 sql 的 GROUP_CONCAT 函数。例如如下 dataframe : + + + | s| d| + + + |abcd|123| | asd|123| + + + 需要按照列相同的列 d 将 s 合并，想要的结果为： +
阅读全文
posted @ 2018-12-29 16:09
链家二手房楼盘爬虫
摘要：前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 万！平均 万/平： 查看请求信息 本次用的是火狐浏览器32.0配合 和 使用，基于 环境，前期步骤： 1. 首先打开 浏览器，清除网页所有的历史纪录，这是为了防止以前的 影响服务
阅读全文
posted @ 2018-12-24 11:20
pandas和spark的dataframe互转
摘要：pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe 由于 的方式是单机版的，即 的方式是单机版的，所以参考 "breeze_lsw" 改成分布式版本：
阅读全文
posted @ 2018-11-21 16:50
subprocess实时获取结果和捕获错误
摘要：需要调用命令行来执行某些命令，主要是用 实时获取结果和捕获错误，发现subprocess的很多坑。 普通获取结果方式，其需要命令完全执行才能返回结果： 客 实时获取结果： 想要获取报错机制，使用 "check_output" 捕捉报错和使用 "check_call" 捕捉报错，及时在 "Popen"
阅读全文
posted @ 2018-11-01 15:50
python3的socket使用
摘要：如果需要设置两台机器的端口，请查看博文 "centos7开放端口和防火墙设置" 需要实现两台机器的信息交互，使用 进行调度。其中服务端为： 客户端为： 启动过后如下所示： 客户端发送： 服务端接收：
阅读全文
posted @ 2018-10-29 17:07
python获取set-cookies
摘要：python获取set cookies
阅读全文
posted @ 2018-10-29 14:42
TensorFlow使用GPU
摘要：查看机器 的信息： 持续更新查看： 其他方式如下：
阅读全文
posted @ 2018-10-09 09:35
pandas的apply操作
摘要：pandas的apply操作类似于Scala的udf一样方便，假设存在如下 ： 需要把 中， 与 一一对应，需要将 大于0.5的 取出来作为新的一列，如果小于0.5则不取出来： 得到结果为： PS：如果没有 将会出现错误：
阅读全文
posted @ 2018-09-28 11:13
pandas列合并为一行
摘要：将 利用 列合并为一行，类似于 的`GROUP_CONCAT dataframe` 想要变成如下形式： 利用 去实现就好， 里面可以用 实现，可以看这个 "Spark中SQL列合并为一行" ，而这里没有 只能用另外一种方式实现： 得到结果为： 而还有另外一种方式，但是可能会输出少了那么几列：
阅读全文
posted @ 2018-09-28 11:12
pandas操作
摘要：python中使用了pandas的一些操作，特此记录下来： 生成DataFrame 得到结果为： 按照逗号分隔并拼接 得到结果为： 筛选符合条件的行 得到结果为： 筛选不符合条件的行 import pandas as pd data = pd.DataFrame({ 'v_id': ["v_1",
阅读全文
posted @ 2018-09-28 11:10
numpy操作
摘要：python中使用了numpy的一些操作，特此记录下来： 生成矩阵，替换值 得到结果为： where查找 得到结果为： 增加一行或一列 得到结果为： 按行合并，按列合并 得到结果为： 删除行、列 得到结果为： ndarray转dataframe 得到结果为：
阅读全文
posted @ 2018-09-28 11:09
