摘要：
数据头User-Agent反爬虫机制解析： 当我们使用浏览器访问网站的时候，浏览器会发送一小段信息给网站，我们称为Request Headers,在这个头部信息里面包含了本次访问的一些信息，例如编码方式，当前地址，将要访问的地址等等。这些信息一般来说是不必要的，但是现在很多网站会把这些信息利用起来。 阅读全文
摘要：
有些知识学着学着就忘了，有些博客看着看着就想留言了，本片博客仅代表作者本人的观点，如有错误及疑问，欢迎提出宝贵的意见！ 1、方法定义好之后，如，def test(x) : ，此时将方法名赋值给一个新的变量，那么该变量等同于方法，可以具备test方法内部的全部功能2、导包的时候，可以使用as关键字在不 阅读全文
摘要：
python 是一种面向对象的解释型计算机程序设计语言，在运行时由解释器处理，在执行程序之前不需要编译程序。Python就是一句话，写得快，跑得慢。 下面的内容是平时工作中容易忽略掉的小细节，希望借此可以多总结 多运用1、用 / 计算后，结果的数据类型是 浮点型2、任何数除以0 在python中会产 阅读全文
摘要：
sinter 、sunion 、sdiff redis 支持 Set集合的数据存储，其中有三个比较特殊的方法： sinter key [key …] 返回一个集合的全部成员，该集合是所有给定集合的交集。sunion key [key …] 返回一个集合的全部成员，该集合是所有给定集合的并集。sdif 阅读全文
摘要：
使用IDEA运行spark程序，除了需要导入spark的一些依赖包之外，还需要注意的是 当启动spark报找不到可执行的hadoop winutils.exe 可已下载相应版本的winutils.exe到hadoop\bin 地址： https://github.com/4ttty/winutils 阅读全文
摘要：
今天尝试了一下在IntelliJ IDEA里面写Scala代码，并且做到和Java代码相互调用，折腾了一下把过程记录下来。 首先需要给IntelliJ IDEA安装一下Scala的插件，在IDEA的启动界面点击 Configure -> Plugins，然后搜索Scala，点击 Install 即可 阅读全文
摘要：
1、提取科室中，"科"字前面的内容 regexp_extract(t1.doctor_department_format,'(.*)科') 2、去除字符串中的数字 第一种方式： SELECT regexp_extract('张三99','(.*?)\\d') 第二种方式：（适用于所有汉字+数字的形式 阅读全文
摘要：
模式匹配是Scala中非常有特色，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。 但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多，Java的swich case语法只能对值 阅读全文
摘要：
一、X-path 的常规用法1、/是从根节点选取，有顺序2、//从当前节点选择文档中的节点，无顺序3、.选取当前节点4、..选取当前节点的父节点5、@选取属性6、 //div[@class='doclist']/a 选择class属性为doclist的div标签下的所有a的标签。 a[1]是选择第一 阅读全文
摘要：
「敏捷开发」，不过时的团队协作方式 「敏捷开发」，不过时的团队协作方式 “每天开会开到天昏地暗且没有针对性？” “团队的任务混乱做不到责任到人？” “工作中紧急任务总得不到第一时间解决？” 不知道何时，低效率的开会、无休止的讨论、不合理的流程已成为团队协作看得见的杀手。协作中，大家心知肚明，深受其害 阅读全文