Linux查看系统、核数、CPU、位数
摘要：
查看系统： 结果为 查看核数和CPU： 个核，处理器为 ， 位 阅读全文
posted @ 2017-11-22 11:13 TTyb 阅读(878) 评论(0) 推荐(0) 编辑
淘宝天猫商品抓取
摘要：
知己知彼，百战百胜。意为如果对敌我双方的情况都能了解透彻，打起仗来百战就不会有危险。语出《孙子·谋攻篇》：“知彼知己，百战不殆；不知彼而知己，一胜一负；不知彼，不知己，每战必殆。” 任何一个电子商务公司想要存活下去，必须要时时掌控市场的动态，包括但不局限于： 1. 爆款款式 2. 热卖销量 3. 加 阅读全文
posted @ 2017-11-11 15:38 TTyb 阅读(6055) 评论(3) 推荐(4) 编辑
Linux suse 11 sp1 安装教程
摘要：
在 中打开 文件，进入主界面，选择 ： 语言选择 简体中文 ，键盘选择 美国US ，选择下一步，点击继续： 选择 全部安装 ，点击下一步： 区域选择 亚洲 ，时区选择 上海 ，点击下一步： 选择桌面看个人喜好，我选择新版本的 ，点击下一步： 选择 基于分区 ，下一步： 填写账号密码，我写的密码太简单 阅读全文
posted @ 2017-11-09 11:13 TTyb 阅读(1540) 评论(0) 推荐(0) 编辑
CSDN文章抓取
摘要：
在抓取网页的时候只想抓取主要的文本框，例如 中的主要文本框为下图红色框： 抓取的思想是，利用 查找所有的 ，用正则筛选出每个 里面的中文，找到中文字数最多的 就是属于正文的 了。定义一个抓取的头部抓取网页内容： 识别每个 中文字的正则： 遍历每一个 ，利用正则判断里面中文的字数长度，找到长度最长的 阅读全文
posted @ 2017-10-30 15:02 TTyb 阅读(488) 评论(0) 推荐(0) 编辑
python识别html主要文本框
摘要：
在抓取网页的时候只想抓取主要的文本框，例如 中的主要文本框为下图红色框： 抓取的思想是，利用 查找所有的 ，用正则筛选出每个 里面的中文，找到中文字数最多的 就是属于正文的 了。定义一个抓取的头部抓取网页内容： 识别每个 中文字的正则： 遍历每一个 ，利用正则判断里面中文的字数长度，找到长度最长的 阅读全文
posted @ 2017-10-24 14:41 TTyb 阅读(1665) 评论(0) 推荐(0) 编辑
selenium下拉到页面最底端
摘要：
selenium操控浏览器下拉到页面最底端： !/usr/bin/env python coding: utf 8 from selenium import webdriver import time if __name__ == '__main__': url = "http://blog.csd 阅读全文
posted @ 2017-10-13 18:00 TTyb 阅读(1735) 评论(0) 推荐(1) 编辑
dataframe去除null、NaN和空字符串
摘要：
去除null、NaN 去除 中的 、 有方法 ，用 找出带有 、 的行，用 删除行： 去除空字符串 去除空字符串用 ： 阅读全文
posted @ 2017-10-12 11:00 TTyb 阅读(9006) 评论(0) 推荐(0) 编辑
python读写excel
摘要：
在工作中往往需要读取 文件，但是读取 的方式很多，本文只列举集中比较好用的读写 或者 的方法： 读取2007版本的excel 读取 需要用库 ， 安装方式： 。设置 的路径： 读取第一个 表中的内容： 这个库读取行和列是从 开始的，而不是从 开始的，所以设置初始的行和列都为 : 当然也可以读取第二个 阅读全文
posted @ 2017-08-22 16:58 TTyb 阅读(702) 评论(0) 推荐(0) 编辑
Spark No FileSystem for scheme file 解决方法
摘要：
在给代码带包成jar后，放到环境中运行出现如下错误： 这是因为 的配置文件没写好，更改方式如下： 找到自己项目保存库的位置，依次点击： File Settings Build,Execution,Deployment Build Tools Maven Local repository 这里的 就是 阅读全文
posted @ 2017-08-04 09:54 TTyb 阅读(4221) 评论(0) 推荐(0) 编辑
spark使用udf给dataFrame新增列
摘要：
在 中给 增加一列的方法一般使用 打印结果如下： 可以看到 很依赖原来 的结构，但是假设没有 这一列，那么增加列的时候灵活度就降低了很多，假设原始 如下： 这样可以用 写自定义函数进行增加列： 得到结果： 还可以写下更多的逻辑判断： 阅读全文
posted @ 2017-07-14 11:23 TTyb 阅读(8884) 评论(0) 推荐(0) 编辑
scala查询dataFrame结构
摘要：
```
println(dataFrame.printSchema)
```  阅读全文
posted @ 2017-07-11 13:54 TTyb 阅读(631) 评论(0) 推荐(0) 编辑
Spark中SQL列和并为一行
摘要：
在使用数据库的时候，需要将查询出来的一列按照逗号合并成一行。 原表名字为 ，表中的部分原始数据为： 查询代码为： 得到部分结果为： 但是在 中没有 命令，查找后发现命令 ： 得到结果： 也可以用另一个方法： 但是得到的结果为 ： 阅读全文
posted @ 2017-06-28 14:52 TTyb 阅读(757) 评论(0) 推荐(0) 编辑
xshell连接ubuntu
摘要：
安装了 ，为了连接 ，做出的一些配置如下： 1.激活root用户 设置新密码，设置成功后会有提示 2.安装ssh服务 3.设置root密码登陆 将 改成： 4.使配置生效 安装完毕后重启 服务： 5.验证ssh是否开启 最后就可以用 连接了 以下为找到 控制台位置： 找到按钮： 点击第二个： 点击第 阅读全文
posted @ 2017-06-13 09:24 TTyb 阅读(268) 评论(0) 推荐(0) 编辑
