摘要: Hadoop大数据部署 一. 系统环境配置: 1. 关闭防火墙,selinux 关闭防火墙: 设置selinux为disable 2. 配置ntp时间服务器 将IP地址换成可用的时间服务器IP 3. 修改系统限制 4. 创建hadoop用户 5. 配置hosts 6. 分发公钥 保证某一个节点上都有 阅读全文
posted @ 2018-11-02 21:56 Show_you 阅读(677) 评论(0) 推荐(0) 编辑
摘要: Linux上删除大量文件几种方式对比 [TOC] linux上删除大量小文件删除测试:删除500000个小文件测试 生成文件: 1. rm删除:因为文件数量太多,rm无法删除(报错) 2. find查找删除: exec exec: 该参数是将查找的结果文件名,逐个传递给后面的命令执行,如果文件较多, 阅读全文
posted @ 2019-04-29 15:22 Show_you 阅读(4919) 评论(3) 推荐(1) 编辑
摘要: Python中collections模块 [TOC] 这个模块实现了特定目标的容器,以提供Python标准内建容器 dict、list、set、tuple 的替代选择。 Counter:字典的子类,提供了可哈希对象的计数功能 defaultdict:字典的子类,提供了一个工厂函数,为字典查询提供了默 阅读全文
posted @ 2019-04-28 23:17 Show_you 阅读(44001) 评论(0) 推荐(7) 编辑
摘要: Python中pathlib模块 Path.cwd():返回当前目录的路径 Path.home():返回当前用户的家目录 Path.stat():返回此路径信息 Path.touch():创建文件 Path.mkdir(mode=0o777, parents=False, exist_ok=Fals 阅读全文
posted @ 2019-04-27 10:48 Show_you 阅读(1614) 评论(0) 推荐(0) 编辑
摘要: python中的shutil模块 [TOC] shutil模块对文件和文件集合提供了许多高级操作,特别是提供了支持文件复制和删除的函数。 目录和文件操作 shutil.copyfileobj(fsrc, fdst[, length]):拷贝文件内容到另一个文件,可以指定拷贝的大小。 shutil.c 阅读全文
posted @ 2019-04-26 22:21 Show_you 阅读(3690) 评论(0) 推荐(0) 编辑
摘要: os模块 os模块:该模块提供了一些方便使用操作系统相关功能的函数 os.remove() 删除文件 os.rename() 重命名文件 os.walk() 文件目录遍历器 os.chdir() 改变目录 os.mkdir/mkdirs 创建目录/多层目录 os.rmdir/removedirs 删 阅读全文
posted @ 2019-04-25 22:58 Show_you 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 定义函数时,默认参数必须指向不变的对象 参数为可变对象时,正常调用的时候,结果没有问题,但是当使用默认参数的时候,结果就会和理想的有差距。 原因:Python函数在定义的时候,默认参数L的值就被计算出来了,即[],因为默认参数L也是一个变量,它指向对象[],每次调用该函数,如果改变了L的内容,则下次 阅读全文
posted @ 2019-04-25 22:11 Show_you 阅读(173) 评论(0) 推荐(0) 编辑
摘要: 报错一: [root@Redis 1 software] /usr/local/ruby/bin/gem install redis 3.2.2.gem ERROR: Loading command: install (LoadError) cannot load such file zlib ER 阅读全文
posted @ 2019-03-19 13:51 Show_you 阅读(415) 评论(1) 推荐(0) 编辑
摘要: [TOC] 1. 简单介绍 MongoDB中的副本集是一组提供冗余和高可用性的mongod进程。副本集主要包含:primary,secondary和arbiter。 primary: 在副本集中只有一个,接收所有写操作,并把这些操作记录到primary的oplog里面,然后secondary将会复制 阅读全文
posted @ 2019-03-11 15:34 Show_you 阅读(1172) 评论(0) 推荐(0) 编辑
摘要: [TOC] 线程同步 线程同步,即线程之间协同工作,一个线程访问某些数据时,其他线程不能访问这些数据,直到该线程完成对数据的操作。 不同的操作系统实现的技术有所不同,有临界区(Critical Section)、互斥量(Mutex)、信号量(Semaphore)、事件(Event)等。 Event 阅读全文
posted @ 2019-03-07 07:14 Show_you 阅读(499) 评论(0) 推荐(2) 编辑
摘要: [TOC] 进程和线程 进程:进程是计算机中程序正在执行的实例,是系统进行资源分配和调度的基本单位。 线程:也被称为轻量级进程,是程序执行流的最小单元。一个标准的线程由线程ID,当前指令指针,寄存器集合和堆栈组成。 线程和进程的关系: 现代操作系统中,每一个进程都认为自己独占所有的计算机资源。进程好 阅读全文
posted @ 2019-03-05 16:43 Show_you 阅读(720) 评论(0) 推荐(0) 编辑