2019 年 11月随笔档案 - lshan

Ubuntu16.04 修改用户名和密码 &添加新用户

摘要：1.添加用户：一、创建用户 1. 创建用户：Sea为用户名 -> sudo useradd -m sea -d /home/sea -s /bin/bash 2、为创建的用户设置密码 -> sudo passwd sea 3、修改用户的权限：（ /etc/sudoers文件只有r权限，在改动前需要阅读全文

posted @ 2019-11-29 13:40 lshan 阅读(4501) 评论(0) 推荐(0) 编辑

apt-get update 404 解决方案

摘要：原文：https://blog.csdn.net/nbxuwentao/article/details/90524349 方案一：解决方案 1. vi etc/apt/sources.list 2. 将里面的内容替换成下面这些(artful可以更换，主要看http://mirrors.163.co 阅读全文

posted @ 2019-11-28 23:27 lshan 阅读(2634) 评论(0) 推荐(0) 编辑

hdoop 的版本问题

摘要：参考：https://www.cnblogs.com/yinzhengjie/articles/11019444.html 阅读全文

posted @ 2019-11-28 22:47 lshan 阅读(124) 评论(0) 推荐(0) 编辑

Ubuntu16.04）ssh配置无密码登录

摘要：原文：https://blog.csdn.net/wenyun_kang/article/details/77413714 一、软件安装 sudo apt-get update （2）安装 openssh 服务端安装 sudo apt-get install openssh-server 客户端安装阅读全文

posted @ 2019-11-28 14:38 lshan 阅读(1338) 评论(0) 推荐(0) 编辑

ubuntu16.04 ssh 连接问题及添加新用户

摘要：ubuntu16.04 添加用户: 一、创建用户 1. 创建用户：vagrant为用户名 -> sudo useradd -m ryan -d /home/ryan -s /bin/bash 2、为创建的用户设置密码 -> sudo passwd vagrant 3、修改用户的权限：（ /etc/s 阅读全文

posted @ 2019-11-28 13:53 lshan 阅读(486) 评论(0) 推荐(0) 编辑

elastic- ik分词器插件

摘要：目录： --1. 安装 --2.测试 --3. 创建mapping --4. testing 1. 安装 Ik分词器的安置于测试 http://www.360doc.com/content/18/1128/12/33260087_797769881.shtml 方案1：下载编译好了的： https: 阅读全文

posted @ 2019-11-26 20:37 lshan 阅读(244) 评论(0) 推荐(0) 编辑

kibana 安装及使用说明

摘要：原文请参考： https://blog.csdn.net/cb2474600377/article/details/78963247 Kibana安装及使用说明 Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。阅读全文

posted @ 2019-11-26 17:52 lshan 阅读(1454) 评论(0) 推荐(0) 编辑

elasticsearch 入门

摘要：官网地址教程: https://www.elastic.co/cn/webinars/getting-started-elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/index.html (各版本文档) 基本阅读全文

posted @ 2019-11-26 17:32 lshan 阅读(204) 评论(0) 推荐(0) 编辑

Ubuntu 16.04安装ElasticSearch and kibala

摘要：可以参考：https://segmentfault.com/a/1190000019897522 基础知识与配置讲解：https://www.cnblogs.com/sunsky303/p/9438737.html kibana 操作入门：https://www.cnblogs.com/wmyskx 阅读全文

posted @ 2019-11-26 16:35 lshan 阅读(216) 评论(0) 推荐(0) 编辑

Ubuntu16.04 安装tesseract

摘要：原文链接：https://blog.csdn.net/tintinetmilou/article/details/80212305 必要包安装： sudo apt-get install autoconf automake libtool autoconf-archive pkg-config li 阅读全文

posted @ 2019-11-25 16:27 lshan 阅读(1759) 评论(0) 推荐(0) 编辑

phantomjs 的安装

摘要：PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，阅读全文

posted @ 2019-11-25 11:41 lshan 阅读(449) 评论(0) 推荐(0) 编辑

JsonPath python

摘要：JsonPath pip install jsonpath JsonPath 是一种信息抽取类库，是从JSON文档中抽取指定信息的工具，提供多种语言实现版本，包括：Javascript, Python， PHP 和 Java。 JsonPath 对于 JSON 来说，相当于 XPATH 对于 XML 阅读全文

posted @ 2019-11-22 17:15 lshan 阅读(215) 评论(0) 推荐(0) 编辑

CSS 选择器：BeautifulSoup4

摘要：和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于阅读全文

posted @ 2019-11-22 17:13 lshan 阅读(190) 评论(0) 推荐(0) 编辑

xpath 的使用

摘要：模糊查询： def Sprider1(): pass url="http://juji123.net/tag/5_2.html" headers={ "User-Agent":"Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 ( 阅读全文

posted @ 2019-11-22 17:12 lshan 阅读(198) 评论(0) 推荐(0) 编辑

ubuntu 软件管理工具安装

摘要：新立得是Ubuntu的包管理工具 apt 的图形化前端。它结合了图形界面的简单操作和 apt-get 命令行工具的强大功能。您可以使用新立得安装、删除、配置、升级软件包，对软件包列表进行浏览、排序、搜索以及管理软件仓库或者升级整个系统。您可以进行一些系列操作形成操作队列，并一起执行它们。新立得会提示阅读全文

posted @ 2019-11-21 18:44 lshan 阅读(1073) 评论(0) 推荐(0) 编辑

在终端中下载wget

posted @ 2019-11-20 14:58 lshan 阅读(655) 评论(0) 推荐(0) 编辑

插件 chrome 下载（内网）

摘要：网址：http://chromecj.com/list/ 阅读全文

posted @ 2019-11-19 21:40 lshan 阅读(398) 评论(0) 推荐(0) 编辑

Python3中正则模块re.compile、re.match及re.search函数

摘要：参考：https://www.jb51.net/article/141830.htm 官网：https://docs.python.org/3/library/re.html re.compile() 函数编译正则表达式模式，返回一个对象。可以把常用的正则表达式编译成正则表达式对象，方便后续调用及阅读全文

posted @ 2019-11-19 16:30 lshan 阅读(552) 评论(0) 推荐(0) 编辑

python3 requests 使用proxy代理 ,cookies

摘要：proxy代理 (通用代理) import requests url='http://docs.python-requests.org/en/master/' proxies={ 'http':'127.0.0.1:8080', 'https':'127.0.0.1:8080' } r = requ 阅读全文

posted @ 2019-11-17 22:06 lshan 阅读(35985) 评论(0) 推荐(0) 编辑

python time装饰器log 类似Java 中注解装饰器,timer or log

摘要：装饰器,timer or log 打印日志以及方法运行时间对于异步方法： from functools import wraps import traceback import time def async_time_fun(func): @wraps(func) async def log(*a 阅读全文

posted @ 2019-11-17 16:15 lshan 阅读(400) 评论(0) 推荐(0) 编辑

subline 正则替换

摘要：目的：将如下改写成 "key":"value" 形式方案：使用正则： Find What : ^(.*)=(.*)$ replace With "\1" : "\2" 阅读全文

posted @ 2019-11-16 19:32 lshan 阅读(203) 评论(0) 推荐(0) 编辑

python json(dict) jsonpath 获取字典路径下的值

摘要：def json_path_value(jsondict,path): try: num=1 pahts = path.split(".") mydict={} for p in pahts: if num==1: mydict = jsondict[p+""] num=num+1 else: my 阅读全文

posted @ 2019-11-15 12:00 lshan 阅读(1870) 评论(0) 推荐(0) 编辑

MongoUtils mongo utils python

摘要：如果是 pymongo==4.x pls pip3 install pymongo==4.5.0 client = pymongo.MongoClient(host="192.168.12.153", port=27017, username="root", password="root", aut 阅读全文

posted @ 2019-11-14 11:01 lshan 阅读(504) 评论(0) 推荐(0) 编辑

nginx 代理 mysql

摘要：场景：利用ngnix 代理mysql /ftp (所有的流式应用) config: cat /etc/nginx/nginx.conf #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/erro 阅读全文

posted @ 2019-11-13 23:31 lshan 阅读(1499) 评论(0) 推荐(0) 编辑

nginx 代理ftp

摘要：nginx1.9之后直接使用Stream配置就可以了，当然需要先安装stream模块 1.nginx 增加tcp ./configure --with-stream --with-pcre=../pcre-8.38 ./configure --with-stream --without-http_r 阅读全文

posted @ 2019-11-13 15:29 lshan 阅读(4053) 评论(0) 推荐(0) 编辑

pip 镜像加速

摘要：方式1：每次指定目前用 pip 安装软件时有时候软件包的源位于境外，所以导致安装速度很慢，建议使用国内的一些镜像源进行安装：阿里云：https://mirrors.aliyun.com/pypi/simple/豆瓣网：http://pypi.douban.com/simple/清华大学：htt 阅读全文

posted @ 2019-11-06 22:26 lshan 阅读(143) 评论(0) 推荐(0) 编辑

jenkins 构建项目snv（1）

该文被密码保护。

posted @ 2019-11-06 12:26 lshan 阅读(0) 评论(0) 推荐(0) 编辑

apollo　从配置中获取某个配置

摘要：package com.sea.comon.utils; import java.text.MessageFormat; import org.springframework.beans.factory.InitializingBean; import org.springframework.context.annotation.Configuration; import org.springfr 阅读全文

posted @ 2019-11-04 12:13 lshan 阅读(9165) 评论(2) 推荐(0) 编辑

spring data jpa 自定义转换器converter

摘要：自定转换器：使用：　在自定名字上添加 eg: XXXX.DO 阅读全文

posted @ 2019-11-04 11:28 lshan 阅读(4025) 评论(0) 推荐(0) 编辑

python3 搭建ftp 文件服务器 docker

该文被密码保护。

posted @ 2019-11-02 22:32 lshan 阅读(13) 评论(0) 推荐(0) 编辑

python http 把自己的电脑变成一个静态服务

摘要：就可以运行起来静态服务。平时用它预览和下载文件太方便了。在终端中输入命令： python2中 python3中阅读全文

posted @ 2019-11-02 22:18 lshan 阅读(357) 评论(0) 推荐(0) 编辑

python 使用property取代getter和setter方法

摘要：使用property取代getter和setter方法 @property成为属性函数，可以对属性赋值时做必要的检查，并保证代码的清晰短小，主要有2个作用将方法转换为只读重新实现一个属性的设置和读取方法,可做边界判定运行结果阅读全文

posted @ 2019-11-02 21:37 lshan 阅读(824) 评论(0) 推荐(0) 编辑

python 装饰器

摘要：装饰器装饰器是程序开发中经常会用到的一个功能，用好了装饰器，开发效率如虎添翼，所以这也是Python面试中必问的问题，但对于好多初次接触这个知识的人来讲，这个功能有点绕，自学时直接绕过去了，然后面试问到了就挂了，因为装饰器是程序开发的基础知识，这个都不会，别跟人家说你会Python, 看了下面的文阅读全文

posted @ 2019-11-02 21:04 lshan 阅读(169) 评论(0) 推荐(0) 编辑

python 闭包

摘要：python 闭包 1. 函数引用运行结果: 2. 什么是闭包运行结果： 3. 闭包再理解内部函数对外部函数作用域里变量的引用（非全局变量），则称内部函数为闭包。启动python解释器 4. 看一个闭包的实际例子：这个例子中，函数line与变量a,b构成闭包。在创建闭包的时候，我们通过li 阅读全文

posted @ 2019-11-02 21:03 lshan 阅读(184) 评论(0) 推荐(0) 编辑

kafka python 指定分区消费与 offset

摘要：指定offset: #pip install kafka-pythonimport gzip from kafka import KafkaConsumer from kafka import TopicPartition consumer = KafkaConsumer(bootstrap_ser 阅读全文

posted @ 2019-11-01 18:58 lshan 阅读(12125) 评论(0) 推荐(1) 编辑

Airflow Dags 执行时间的统计

摘要：执行SQL：阅读全文

posted @ 2019-11-01 14:26 lshan 阅读(982) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论