摘要：列表定义: >>> name['lily','lucy','tom'] >>> nums = [11,22,33,'100','lily'] #python中的列表中可以定义任意类型的元素 用+将两个列表加起来,或者下面的方法 增加和删除 pop从后往前删,append后面追加 类似于栈,后进先出 阅读全文
Python学习之字符串中的下标和切片以及逆序
2018-04-27 19:29 by Justinyangbigdata, 1836 阅读, 0 推荐, 收藏, 编辑
摘要：python中的下标从0开始 从后往前取 注意:后面的2代表步长,先看2:-1取出来的数值 [起始位置:终止位置:步长] 逆序 但是发现如果[-1:0:-1]发现是取不到第一个元素的,那么怎么办? 此时将中间的0去掉就行,去掉就代表取到第一个元素,如果这里为空,那么默认就会去找第一或者最后一个元素. 阅读全文
python学习之组成字符串的两种方式
2018-04-27 18:56 by Justinyangbigdata, 986 阅读, 0 推荐, 收藏, 编辑
摘要：第一种就是加法,比如 a ='张三' b = '李四' 那么print c =a+b 例如之前提到的 或者数值转换成字符串的 num = 100 str(num) 其他参照表格中的转换即可 2.组成字符串第二种方式(引用变量) 阅读全文
Mysql数据库的优化
2018-04-25 20:30 by Justinyangbigdata, 533 阅读, 0 推荐, 收藏, 编辑
摘要：一: Mysql参数优化 1.查看mysql参数最大连接 调大mysql参数连接(最大可设置12384) 2.查看所有进程,无用的kill掉 3.查看当前被使用的连接 show global status like 'max_connections'; 二:使用查询缓存优化查询 1.大多数mysql 阅读全文
mysql中的读锁和写锁
2018-04-19 22:14 by Justinyangbigdata, 12398 阅读, 0 推荐, 收藏, 编辑
摘要：当mysql为一个表开启读锁的时候,其他进程包括进程本身没有权利去修改这张表的内容,也没有权利更新,但是可以读取表里面的内容 如下例子 给表上读锁 接着更新一下,显示被锁了 释放锁并插入数据 写锁 查看 接着更新数据 进程本身是可以访问到的,但是如果对这个表进行了插入 更新 删除 等操作后,除非释放 阅读全文
Kafka的参数调优
2018-04-19 18:01 by Justinyangbigdata, 5548 阅读, 0 推荐, 收藏, 编辑
摘要：这篇文章主要说一下在生产过程中的kafka常用的调优参数, 首先kafka的版本是0.9.0.1,针对以下几个方面来说, 针对kafka的堆内存: 针对kafka的集群调优: kafka的的消息机制有三种,同步 异步和 oneway 同步(sync)的意味着消息是以batch的方式push,这样会极 阅读全文
crontab自动启动小任务例子(每一分钟将当前日期打入一个文件)
2018-04-18 20:39 by Justinyangbigdata, 948 阅读, 0 推荐, 收藏, 编辑
摘要：crontab -l #查看当前定时任务列表 显示没有,那么我们来安装一下(必须在root用户下) – yum install vixie-cron – yum install crontabs (我在安装的时候显示已经有了) 检查crond服务是否启动：service crond status s 阅读全文
shell命令之at 执行一次性定时任务的用法
2018-04-18 13:24 by Justinyangbigdata, 6157 阅读, 0 推荐, 收藏, 编辑
摘要：大家都知道crontab是执行定时任务的命令,那么at又是什么呢? 其实at也是定时任务命令,不同的是crontab是执行循环任务,at执行一次性任务 首先说下时间例子 Minute at now + 5 minutes 任务在5分钟后运行Hour at now + 1 hour 任务在1小时后运行 阅读全文
shell命令之巧用cut
2018-04-17 22:49 by Justinyangbigdata, 284 阅读, 0 推荐, 收藏, 编辑
摘要：需求：取出日志中ip字段，并进行统计排序 .一般用用awk命令 假如ip地址为第一个字段 那么 awk ‘{print $1}’ 文件名 |sort |uniq -c|sort-nr 那如果不是第一个字段而且分隔符还有好几种呢? 还可以用cut命令 , cut -d ' ' -f 1 文件名 |so 阅读全文
hadoop中如何动态更新集群队列和容量
2018-04-17 15:42 by Justinyangbigdata, 911 阅读, 0 推荐, 收藏, 编辑
摘要：1.集群默认是FIFO容量调度器,有的时候不同的业务部门都需要使用hadoop集群,那么这时候就需要来设置容量调度器了,如何平衡各个部门的容量.合理利用资源? 首先配置调度器需要在修改两个配置文件,分别是mapred-site.xml.里面主要有两个参数,其中第二个mapred.queue.name 阅读全文