11 2018 档案
摘要：工具：Anaconda 先进入该页，新浪新闻：http://news.sina.com.cn/china/ 往下翻，找到这样的最新消息 先爬取单个页面的信息：（随便点一个进去）， 该新闻网址：http://news.sina.com.cn/c/nd/2018-06-08/doc-ihcscwxa18
阅读全文
摘要：案例一 抓取对象： 新浪国内新闻（http://news.sina.com.cn/china/），该列表中的标题名称、时间、链接。 完整代码： 运行结果：（只展示部分） 详细解说： 1. 首先插入需要用到的库：BeautifulSoup、requests，然后解析网页。解析完后print下，确认是否
阅读全文
摘要：总结解决方案 第一种： 第一行加:# -*- coding: utf-8 -*- 第二种： 引用处设置默认编码格式 # coding: utf-8 第三种： 使用中文处将中文unicode编码 python3以后第二种方式。
阅读全文
摘要：我的问题： 使用python3.5，在Linux环境下手动执行python文件时不报错，但是用jenkins自动执行时就报"Non-ASCII character '\xe6' in file"，查了一下，解答如下： 在第一行加上这样一句话： 将编码格式改变为utf-8问题就解决了!
阅读全文
摘要：执行一个脚本full_build.sh 时, 一直是提示我: -bash: ./full_build.sh: /bin/bash^M: bad interpreter: No such file or directory 开始是说我权限不够, 不能执行, 接着我就把权限给改了, 就一直报上面问题.
阅读全文
摘要：我没有找到根本原因，但是我用了个取巧的办法： 先将原来的报告移到别的文件夹，执行完jmeter脚本后，再把那些旧报告移回来（也可以不移回来，我这里是为了能从jenkins页面上看）。
阅读全文
摘要：（1）直接用$1,$2取传入的参数vim /root/test.sh#!/bin/bashif [ $1 == "start" ] then echo "do start" command groups elif [ $1 == "stop" ] then echo "do stop" comman
阅读全文
摘要：最近要配置Jenkins邮箱，由于一直报如下错误，又没办法解决，所以想到了另外的办法发邮件。 我采用shell脚本执行python命令的方式来发邮件：
阅读全文
摘要：最近在工作中发现一个奇怪的问题： 明明已经装上了，但是还提示找不到该模块，没办法，我又去site-package文件下面看了： 发现Linux下自带的python2.7里面装上了该模块（我在root用户下的python2.7和hadoop用户下的python3.5都装了），所以我直接复制了一份到py
阅读全文
摘要：在linux系统中复制文件夹时提示如下： Shell代码 出现该警告的原因是因为yagmail是个模块，里面还有内容，所以不能直接拷贝。 解决办法：使用递归拷贝，在cp命令后面加上-r参数，形如： 这里的-r代表递归的意思。 同样，当我们在linux系统下删除目录时也需要加上-r参数 ，如果目录为空
阅读全文
摘要：使用sys模块 使用sys模块里的argv参数，用来保存参数值 该方法的作用是在运行python xx.py时必须传入参数才能执行，否则报错，执行时即将参数传入python文件中使用。 print(sys.argv) #查看文件的当前路径，并存到列表里
阅读全文
摘要：使用模块yagmail（使用收藏的yagmail，现在的第三方模块不能解决中文乱码问题） 如果有多个收件人或抄送人的话，使用列表存放邮箱 如果使用qq邮箱当发件人的话，需要在.SMTP的参数中加入smtp_ssl=True，host='smtp.qq.com' attachments是附件，最好写最
阅读全文
摘要：递归的意思是函数自己调用自己。 递归次数：递归如果是死循环，最多执行999次。 小练习： 递归的效率没有循环高，尽量不要用递归。
阅读全文
摘要：一、参数类型 （一）形参与实参 要使用局部变量时，只能通过return的方式返回 不写返回值的时候，返回的是None （二）参数类型 1、位置参数\形式参数 形式参数，也叫位置参数 是必传参数 调用时如果不填实参会报错 给参数一个提醒类型：调用时可以传入不同类型的参数，不受影响。 2、默认值参数 x
阅读全文
摘要：1、定位 定位一行 x：行号sed -n '10p' passwdnl passwd | sed -n '10p'/pattern/：正则sed -n '/abc/p' passwd 定位几行 x,y：行号nl passed | sed -n '10,20p'/pattern/,x：正则sed -n
阅读全文
摘要：一、简介 Shell编程中循环命令用于特定条件下决定某些语句重复执行的控制方式，有三种常用的循环语句：for、while和until。while循环和for循环属于“当型循环”，而until属于“直到型循环”。循环控制符：break和continue控制流程转向。 二、详解1、for循环（1）for
阅读全文
摘要：原文链接 : http://blog.chinaunix.net/uid-23302288-id-3785105.html awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程: 依次对每一行进行处理，然后输出 awk命
阅读全文
摘要：需要三台虚拟机(生产环境是3个物理机)，分配静态IP。cluster中共6个节点。3主3从。本文中每个虚拟机上的redis端口：6379 6380。 需要注意的两点： 3个主节点分别位于3台虚拟机上，已保证某个虚拟机挂掉，集群仍然可以正常工作。 同一对主从节点(存储的是相同的数据)，也不能分配到一台
阅读全文
摘要：我们为什么要尝试前后端分离 尝试与改变 如果你没有尝试过前后端分离的工作流程，那么可以先试想一下这样的流程改变： 把流程从 PM：“我要这个功能”后端：“这个先找前端做个模板”前端：“模板做完了”后端：“我来对接一下，这里样式不对”前端：“我改完了”后端：“功能交付”PM：“春节要加这个活动”后端：
阅读全文
摘要：REST的概念是什么 维基百科 表现层状态转换（REST，英文：Representational State Transfer）是Roy Thomas Fielding博士于2000年在他的博士论文中提出来的一种万维网软件架构风格，目的是便于不同软件/程序在网络（例如互联网）中互相传递信息。 知乎
阅读全文
摘要：一、读取网页 1、使用自带的urllib模块： 引入自带的模块urllib 使用文件里面的urlopen模块 （1）发送的是get请求： （2）发送的是post请求： 2、使用requests模块： 需要导入该模块：pip install requests （1）发送的是get请求： （2）发送的是
阅读全文
摘要：__name__是python的默认的自测代码标识，其他文件导入该python文件时，不会执行这行代码以下部分。 执行aaa.py文件：
阅读全文
摘要：1、python找文件是先去当前文件所在的文件夹下找，也就是bin目录下找 2、如果bin目录里找不到，再去python的环境变量里找 如果有pycharm，那么直接点右键-选择Mark Directory-Source Root就可以将文件加入到环境变量里；但如果没有pycharm，需要手动加环境
阅读全文
摘要：成分目录的好习惯，使得代码保持整洁，为以后的代码管理提供方便。 一、概念 一般目录有以下几个： bin：程序入口，存放start文件。 conf：存放固定的配置信息，比如：连接redis的配置信息、连接mysql的配置信息等。 lib：存放main文件、tools文件等。 logs：存放日志 文件：
阅读全文
摘要：UNIX Shell 里面比较字符写法： -eq 等于-ne 不等于-gt 大于-lt 小于-le 小于等于-ge 大于等于-z 空串= 两个字符相等!= 两个字符不等-n 非空串 无论什么编程语言都离不开条件判断。SHELL也不例外。 大体的格式如下：if list thendo somethin
阅读全文
摘要：一、无war包链接的情况 无war包链接时，需先下载war包到本地，然后执行： 以下部分为转载 1、下载插件Deploy to container 首先需要下载一个Jenkins的插件：Deploy to container Plugin ，可以在Jenkins的系统管理->插件管理->可选插件中查
阅读全文
摘要：近来发现两个问题： 1、jenkins设置邮箱时邮件发送测试不成功，之前是成功的； 2、启动python服务时，使用8000端口报错，但是用其他端口可用： 百度了一下，原来是端口占用的问题，可用如下方式解决： C:\Users\Administrator>netstat -ano|findstr 端
阅读全文
摘要：一、FAQ 1、如果用连接器连接redis不成功，报如下错误： crash-report-server replied:Request Entity Too Large 则可以先通过cmd命令查看端口连接： 使用telnet ip 端口号查看，若出现： 则可以按照上面说明进行修改： 再次连接： 成功
阅读全文
摘要：1、下载 https://pan.baidu.com/s/119UO4SGIEW_cxf0LmZzx3w 并将 JetbrainsCrack-3.1-release-enc.jar 放置到 pycharm安装目录的\bin目录下（位置可随意，只要配置文件填写相对应的路径）。 2、在 Pycharm安
阅读全文
摘要：基本操作 1）用Notepad++直接编辑代码文件，注意文件后缀，比如.cpp是C++程序，.m是Matlab，linux文件是.sh，写对后缀表示的文件类型，才有对应的语法高亮效果。 2）选中需要的代码块（或者不选，默认对全文操作），使用“插件 -> NppExport”，具体见下图 3）直接粘贴
阅读全文
