TTyb

零基础如何学Python爬虫技术？

摘要：在作者学习的众多编程技能中，爬虫技能无疑是最让作者着迷的。与自己闭关造轮子不同，爬虫的感觉是与别人博弈，一个在不停的构建反爬虫规则，一个在不停的破译规则。如何入门爬虫？零基础如何学爬虫技术？那前提肯定会是需要学习一门简单易入门的编程语言了，就作者而言，无疑是最合适的！到2014年7月为止阅读全文

posted @ 2017-05-29 11:34 TTyb 阅读(2869) 评论(1) 推荐(6) 编辑

scala用ssh2连接Linux

摘要：这个需要安装库：首先用和创建连接：判断这个连接是否连接上了，这个用了一个类型判断：如果连接成功的话，那么就将命令发送过去，命令发送只需要建立一个会话即可，执行命令返回的值保存在中：最后就是处理解析中的返回结果就行了：完整的类封装成：在函数中调用这个类即可：这个方法能发送的阅读全文

posted @ 2017-05-22 21:12 TTyb 阅读(439) 评论(0) 推荐(0) 编辑

scala调用Linux命令行

摘要：在里面存在调用命令行的函数：执行的方法也不难：需要注意的是，这个库只能调用的命令行，在下不行阅读全文

posted @ 2017-05-22 20:57 TTyb 阅读(1309) 评论(0) 推荐(0) 编辑

scala的reduce

摘要： `spark reduce reduce dataframe dataframe` : 假设要将这一列拼接成一长串字符串，则：要是将这一列拼接一个，则：阅读全文

posted @ 2017-05-17 14:42 TTyb 阅读(889) 评论(0) 推荐(0) 编辑

多说关闭选用网易云跟帖

摘要：很多人的个人博客用的是，但是最近多说突然说要关闭了因此很多人选择了，但是在注册的时候出现了错误：为什么会这样？？？？？？笔者的原来是用来做的博客，域名是一番调查后发现，只识别，而给我们的是，所以想要避免这个问题只能去买一个域名新的域名放在是不需要备案的！例如我的新阅读全文

posted @ 2017-05-06 20:11 TTyb 阅读(222) 评论(0) 推荐(0) 编辑

github pages绑定域名

摘要：网上很多人问绑定域名要不要备案，很多人的回答是：这个说法是没错的，但是却没有直接回答出是否需要备案！首先声明上面的博客空间属于国外空间，绑定域名可以！完全放心，作者买了域名还没备案也是可以用的 "百哥么么哒" 为绑定域名很简单，步骤如下： 1.购买域名国内域名我选择了万网，进入界阅读全文

posted @ 2017-05-06 19:59 TTyb 阅读(746) 评论(0) 推荐(1) 编辑

scala转换date提取年月日时分秒

摘要：从数据库提取出来的时间为格式，现在需要转换为并提取出里面的小时时间段：阅读全文

posted @ 2017-04-25 10:16 TTyb 阅读(1537) 评论(1) 推荐(1) 编辑

python编译、运行、反编译pyc文件

摘要：为了加密文件，以前一般使用打包成，但是最近发现可以将其编译成二进制文件，虽然反编译难度不大，但是也需要一些水平编译生成：单个文件代码：命令行下：多个文件命令行下：运行文件命令行下：反编译首先安装库查看函数属性：命令行下：和源文件对比：阅读全文

posted @ 2017-04-21 09:14 TTyb 阅读(18793) 评论(0) 推荐(2) 编辑

python批量启动多线程

摘要：还未了解多线程的请查看博文 python3多线程趣味详解 python3多线程趣味详解只是介绍了 python 多线程的使用，对于批量启动线程来说有些不适用，于是出现如下方法：建立一个线程池，并将某个线程放入进去 threadpool = [] th = threading.Thread(tar 阅读全文

posted @ 2017-04-19 10:27 TTyb 阅读(2326) 评论(0) 推荐(0) 编辑

Linux中断程序命令

摘要：在运行脚本的时候想要中断程序，发现如下情况：居然无法中断程序！这时候尝试还是毫无效果，最后尝试 : 查看该程序是否还在运行 : 程序终于中断了阅读全文

posted @ 2017-04-19 10:16 TTyb 阅读(4226) 评论(0) 推荐(0) 编辑

scala中spark运行内存不足

摘要：用在spark上跑代码的时候出现错误：发现其原因竟然是运行的时候默认的内存不足以支撑海量数据，可以用中查看到自己代码的运行内存，即：本机默认为1G的内存运行程序，所以我改成8G内存运行：具体运行请看： "scala打包jar并在Linux下运行" 查看的内存命令为： or `top` 阅读全文

posted @ 2017-04-18 08:48 TTyb 阅读(1697) 评论(1) 推荐(0) 编辑

scala打包jar并在Linux下运行

摘要：打开 File Project Structure Artifacts + jar From Modules with dependisies... 选择需要打包的文件的函数所在路径文件： Main Class Ok 新建一个文件夹用于存放文件，而且新建的文件夹一定要在目录下！然后更改包阅读全文

posted @ 2017-04-17 18:55 TTyb 阅读(1789) 评论(1) 推荐(1) 编辑

scala的input

摘要：获取用户输入的信息，一般使用函数，但是里面是没有这个方法的，为了获取控制台的输入操作，定义的方法为：阅读全文

posted @ 2017-04-15 11:50 TTyb 阅读(459) 评论(1) 推荐(0) 编辑

scala的break和continue

摘要： `scala continue break break continue` 的效果这里用到了库：如果用包裹整个循环，那么遇到则是跳出整个循环： : import scala.util.control.Breaks.{break, breakable} object test { def ma 阅读全文

posted @ 2017-04-13 14:21 TTyb 阅读(2104) 评论(1) 推荐(0) 编辑

scala合并Array

摘要：打印结果：阅读全文

posted @ 2017-04-07 14:15 TTyb 阅读(2062) 评论(0) 推荐(0) 编辑

个人博客转至：tybai.com