Simple-Sir - 博客园

[置顶] 初识python 之爬虫：正则表达式

摘要：语法 python中正则表达式功能由 re 模块提供： import re 两个主要函数： match 匹配第一个字符（从第一个字符开始匹配） search 匹配整个字符串一、匹配单个字符 1、匹配某个字符（串） text = 'hello' ret = re.match('hel',text) 阅读全文

posted @ 2019-08-01 16:27 Simple-Sir 阅读(312) 评论(0) 推荐(0) 编辑

linux 之 shell脚本实现SFTP下载、上传文件、执行sftp命令

摘要：需求需求方通过sftp不定时的上传一批用户(SBXDS_ACC_M_任务ID_yyyymmddHHMMSS.csv)，需要我们从这些用户中找出满足条件的用户。然后把这些结果用户通过文件的形式上传到ftp。环境说明 ip1能连接hive库环境，不能连接sftp。ip2不能连接hive库环境，能连接阅读全文

posted @ 2024-02-01 15:10 Simple-Sir 阅读(4858) 评论(0) 推荐(0) 编辑

初识python 之小时加减

摘要： #!/user/bin/env python # -*-coding:utf-8 -*- # author:SimpleSir # create_time:2023/4/26 10:33 import datetime deal_hour = '2023061515' deal_hour_time 阅读全文

posted @ 2023-06-15 15:38 Simple-Sir 阅读(36) 评论(0) 推荐(0) 编辑

初识python之正则案例：找到记录中所有user_name的值

摘要：数据样例 user_info.txt user_name={李大牛} age={29} phone_no={13856819955} user_name={李二牛} age={26} phone_no={13956819955} phone_no={13256819955} user_name={李阅读全文

posted @ 2023-03-27 10:43 Simple-Sir 阅读(39) 评论(0) 推荐(0) 编辑

初识java 之通过switch实现简易计算器功能

摘要：需求通过switch实现计算器功能 + - * / % 最终控制台实现场景欢迎使用simple的计算器请输入第一个数字：请输入运算符(+ - * / %)：请输入第二个数字：运算结果： 1 + 2 = 3 实现代码 1 /* 2 需求：switch实现计算器功能 + - * / % 3 阅读全文

posted @ 2022-07-25 14:18 Simple-Sir 阅读(341) 评论(0) 推荐(0) 编辑

初识python 之 xlsxwriter 设置单元格格式、合并单元格

摘要：单元格格式设置参数 # 数字 num_format = 'General' # 数字格式 # 字体 font_name = 'Arial' # 字体 font_size = 11 # 字号 font_color = 0x0 # 颜色 bold = True # 加粗 italic = True # 阅读全文

posted @ 2022-07-08 12:22 Simple-Sir 阅读(3046) 评论(0) 推荐(0) 编辑

初识python 之 xlsxwriter将数据导入excel并设置格式

摘要：数据准备 1、打开excel随机成0到10000之前数据 =RANDBETWEEN(0,10000) 2、把数据放入txt 实现代码 1 #!/user/bin env python 2 # author:Simple-Sir 3 # create_time: 2022/7/8 11:52 4 im 阅读全文

posted @ 2022-07-08 12:06 Simple-Sir 阅读(587) 评论(0) 推荐(0) 编辑

初识python 之 pyspark读写hive数据

摘要：环境准备复制hdfs-site.xml、hive-site.xml到spark\conf目录下。复制mysql-connector-java-5.1.49.jar到spark\jars目录下。注意设置连接用户，默认为windows当前用户。 os.environ['HADOOP_USER_N 阅读全文

posted @ 2022-06-06 18:03 Simple-Sir 阅读(644) 评论(0) 推荐(0) 编辑

初识python 之 pyspark读写mysql数据

摘要：代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/2 14:20 from pyspark.sql import SparkSession spark = SparkSession.builder.master(" 阅读全文

posted @ 2022-06-06 16:26 Simple-Sir 阅读(839) 评论(0) 推荐(0) 编辑

初识python 之 pyspark实现wordcount

摘要：代码 #!/user/bin env python # author:Simple-Sir # create_time: 2022/6/6 14:20 from pyspark import SparkConf,SparkContext sparkConf = SparkConf().setMast 阅读全文

posted @ 2022-06-06 14:29 Simple-Sir 阅读(444) 评论(0) 推荐(0) 编辑

spark 之 sparkSql操作hive数据

摘要：步骤 1.将hive-site.xml、hdfs-site.xml文件复制到项目的resources目录中 2.导入依赖 1 <dependency> 2 <groupId>org.apache.spark</groupId> 3 <artifactId>spark-hive_2.12</artif 阅读全文

posted @ 2022-06-02 11:27 Simple-Sir 阅读(1461) 评论(0) 推荐(0) 编辑