papering - 博客园

2017年12月27日

摘要： [root@hadoop3 hadoop]# xloStarting namenodes on [hadoop3]上一次登录：三 12月 27 16:06:01 CST 2017pts/24 上Starting datanodes上一次登录：三 12月 27 16:06:11 CST 2017pts 阅读全文

posted @ 2017-12-27 16:19 papering 阅读(1700) 评论(0) 推荐(0) 编辑

可用内存free不足 hadoop3 无法启动手动释放缓存 cache

摘要： [root@hadoop3 hadoop]# xlfg total used free shared buff/cache availableMem: 15 0 2 0 12 14Swap: 7 0 7[root@hadoop3 hadoop]# cat /proc/sys/vm/drop_cach 阅读全文

posted @ 2017-12-27 16:06 papering 阅读(785) 评论(0) 推荐(0) 编辑

hadoop3 无法启动查找内存消耗原因

摘要： [root@hadoop3 hadoop]# xloStarting namenodes on [hadoop3]上一次登录：三 12月 27 15:07:11 CST 2017pts/24 上hadoop3: ERROR: Cannot set priority of namenode proce 阅读全文

posted @ 2017-12-27 15:38 papering 阅读(2401) 评论(0) 推荐(0) 编辑

a

摘要： a 阅读全文

posted @ 2017-12-27 09:45 papering 阅读(216) 评论(0) 推荐(0) 编辑

2017年12月26日

环境是如何建立的启动文件有什么

摘要： login shell non-login shell 阅读全文

posted @ 2017-12-26 23:36 papering 阅读(173) 评论(0) 推荐(0) 编辑

环境中存储的是什么

摘要： 2种变量由bash存放的shell variable environment variable 阅读全文

posted @ 2017-12-26 23:34 papering 阅读(146) 评论(0) 推荐(0) 编辑

串行并行异步同步

摘要：串行 0.1t 阅读全文

posted @ 2017-12-26 22:24 papering 阅读(120) 评论(0) 推荐(0) 编辑

TPC-H is a Decision Support Benchmark

摘要： TPC-H is a Decision Support Benchmark http://www.dba-oracle.com/t_tpc_benchmarks.htm 阅读全文

posted @ 2017-12-26 22:24 papering 阅读(147) 评论(0) 推荐(0) 编辑

进程通信类型管道是Linux支持的最初Unix IPC形式之一命名管道匿名管道

摘要：管道 Linux环境进程间通信（一） https://www.ibm.com/developerworks/cn/linux/l-ipc/part1/index.html 管道及有名管道郑彦兴2002 年 12 月 11 日发布 1、管道概述及相关API应用 1.1 管道相关的关键概念管道是L 阅读全文

posted @ 2017-12-26 21:44 papering 阅读(235) 评论(0) 推荐(0) 编辑

删除环境变量

摘要：更新hadoop版本为3.0.0后，安装路径发生了改变运行hadopp-yarn 报路径错误信息 set 检查变量路径，但是找不到定义之处 unset YARN_HOME 强行删除 http://soft.chinabyte.com/os/169/11412169.shtml 阅读全文

posted @ 2017-12-26 20:13 papering 阅读(290) 评论(0) 推荐(0) 编辑

a

摘要： a 阅读全文

posted @ 2017-12-26 19:19 papering 阅读(168) 评论(0) 推荐(0) 编辑

sqoop

摘要： http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.tar.gz wget http://central.maven.org/maven2/mysql/mysql-connector-java/6.0.6/mysql-connector 阅读全文

posted @ 2017-12-26 16:07 papering 阅读(161) 评论(0) 推荐(0) 编辑

t

摘要： t 阅读全文

posted @ 2017-12-26 14:42 papering 阅读(110) 评论(0) 推荐(0) 编辑

tmp

摘要： http://www.jb51.net/article/10137.htm 阅读全文

posted @ 2017-12-26 14:04 papering 阅读(212) 评论(0) 推荐(0) 编辑

临时表数据在内存转移时间将160秒的创建临时表时间放入定时任务不到1秒的求和时间 hadoop 引入Hadoop 分布式计算

摘要： SELECT SUM(pv) as pv_t FROM 行 112247817表类型 InnoDB自动递增值 1082428327行格式 Compact索引长度 8.60 GB (9,235,939,328)数据长度 13.57 GB (14,573,125,632) 数据可用空间 4.00 MB 阅读全文

posted @ 2017-12-26 12:27 papering 阅读(236) 评论(0) 推荐(0) 编辑

/tmp/crontab.tDoyrp: 设备上没有空间查看文件夹所在分区磁盘剩余空间 15g的root-mail大文件

摘要：问题诊断：文件夹所在磁盘已满问题确认：查看文件夹所在磁盘剩余空间，找出空间被消耗的文件（集）查看文件夹所在磁盘空间的所属文件（暂未解决） [root@hadoop1 /]# df -Bg /tmp文件系统 1G-块已用可用已用% 挂载点/dev/mapper/centos-root 5 阅读全文

posted @ 2017-12-26 10:07 papering 阅读(687) 评论(0) 推荐(0) 编辑

mysql 时间间隔计算

摘要：业务需求说明早8：30点执行该sql，写入定时脚本【在稳定前，需要手动复检】 INSERT INTO test_error ( url, no_open_times, no_ad_times, ok_times, remarks, script_need_run_times, create_ti 阅读全文

posted @ 2017-12-26 09:30 papering 阅读(1121) 评论(0) 推荐(0) 编辑

哲学家进餐问题

摘要：进程阅读全文

posted @ 2017-12-26 08:29 papering 阅读(132) 评论(0) 推荐(0) 编辑

2017年12月25日

硬件同步机制

摘要：对一个字中的内容进行检测和修正对两个字的内容进行交换阅读全文

posted @ 2017-12-25 23:50 papering 阅读(684) 评论(0) 推荐(0) 编辑

hdfs对namenode format 之后应该首先检查内存消耗情况，以判断是否支持开启yarn

摘要： http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 3.0.0 http://hadoop.apache.org/docs/r2.7.5/hadoop-yarn/hadoop-ya 阅读全文

posted @ 2017-12-25 22:18 papering 阅读(218) 评论(0) 推荐(0) 编辑

golang_test

摘要： package main // o O func f1() { defer println("f1-start") f2() defer println("f1-end") } func f2() { defer println("f2-start") f3() defer println("f2- 阅读全文

posted @ 2017-12-25 17:31 papering 阅读(189) 评论(0) 推荐(0) 编辑

DBENV->open

摘要： https://stuff.mit.edu/afs/sipb/project/sandbox/golem/db-3.0.55/docs/api_c/env_open.html int DBENV->open(DB_ENV *, char *db_home, char *db_config[], u_ 阅读全文

posted @ 2017-12-25 16:08 papering 阅读(275) 评论(0) 推荐(0) 编辑

65*24=1560<2175 对数据的统计支撑决策假设历史数据正确的情况下，去安排今后的任务

摘要：没有达到目标，原因不是时间投入不够，而是不用数据决策，不用数据调度定时脚本【数据源情况统计】 ># 近30天，日生效coin数目SELECT COUNT(DISTINCT coin) AS c,FROM_UNIXTIME(create_time,'%Y-%m-%d ') AS d FROM tes 阅读全文

posted @ 2017-12-25 11:54 papering 阅读(202) 评论(0) 推荐(0) 编辑

2017年12月24日

8.4 创建大量对象时节省内存方法

摘要： 8.4 创建大量对象时节省内存方法 — python3-cookbook 3.0.0 文档 https://python3-cookbook.readthedocs.io/zh_CN/latest/c08/p04_save_memory_when_create_large_number_instan 阅读全文

posted @ 2017-12-24 21:01 papering 阅读(242) 评论(0) 推荐(0) 编辑

定时邮件已经稳定运行10天+ 从局域网linux到外网邮箱

摘要：阅读全文

posted @ 2017-12-24 19:56 papering 阅读(250) 评论(1) 推荐(0) 编辑

2017年12月23日

查看外网地址

摘要： curl ifconfig.me 阅读全文

posted @ 2017-12-23 21:39 papering 阅读(240) 评论(0) 推荐(0) 编辑

mktemp temp race attack 临时文件隐患

摘要： /tmp 安全隐患～/tmp 在家目录程序目录下创建临时文件阅读全文

posted @ 2017-12-23 00:25 papering 阅读(225) 评论(0) 推荐(0) 编辑

2017年12月22日

数据教训有计划地且按时按量地产生（更新）数据

摘要：不能粗放式产生数据和更新数据必须有计划地且按时按量地产生和更新数据控制数据的产生（更新，“更新”即“产生”了数据），才能从之后动态数据转化成的静态数据中进行数据挖掘，导向决策 data decision 阅读全文

posted @ 2017-12-22 20:56 papering 阅读(155) 评论(0) 推荐(0) 编辑

sql 语法树常量

摘要： SELECT id,'|',url,'|',update_time FROM tab LIMIT 10;SELECT COUNT(1) AS parent,(SELECT COUNT(1) FROM tab WHERE id%2=0) AS child FROM tab; 阅读全文

posted @ 2017-12-22 16:59 papering 阅读(492) 评论(0) 推荐(0) 编辑

定时任务 bash 对远程数据库备份读写

摘要： 1g表每行都有可能被更新，故全表备份检测备份是否在进行 [root@hadoop1 ~]# netstat --numeric-ports | grep 3306tcp 0 0 hadoop1:37692 121.110.203.226:3306 ESTABLISHED您在 /var/spool 阅读全文

posted @ 2017-12-22 16:30 papering 阅读(405) 评论(0) 推荐(0) 编辑

监控脚本更新数据结果要求当前小时更新的数据所分布的产生时间

摘要： SELECT COUNT(1),FROM_UNIXTIME(update_time,'%Y%m%d %H') AS h, FROM_UNIXTIME(create_time,'%Y%m%d') AS d FROM test_url GROUP BY h,d ORDER BY h DESC ; 阅读全文

posted @ 2017-12-22 15:05 papering 阅读(351) 评论(0) 推荐(0) 编辑

利用一切可以利用的资源去解决问题完成难以想象的任务

摘要：去解决问题干阅读全文

posted @ 2017-12-22 12:48 papering 阅读(297) 评论(0) 推荐(0) 编辑

面向数据的编程面向数据的决策

摘要：面向数据阅读全文

posted @ 2017-12-22 10:50 papering 阅读(131) 评论(0) 推荐(0) 编辑

整洁的架构

摘要：小结: 1、User Case 用例是架构设计中非常重要的一环，架构也是基于这些用例进行设计的，如果缺失了用例，就无从谈起架构设计了。一文读懂架构整洁之道 https://mp.weixin.qq.com/s/XAm1MO4RQYtkj3ay-2jT7A 一文读懂架构整洁之道原创马飞翔（泽畔）阅读全文

posted @ 2017-12-22 10:44 papering 阅读(320) 评论(0) 推荐(0) 编辑

2017年12月21日

在战略设计层面提出了域、子域、限界上下文等重要概念；在战术设计层面提出了实体、值对象、领域服务、领域事件、聚合、工厂、资源库等重要概念。领域驱动设计有防腐层的设计

摘要：小结： 1、 “分层架构”遵循了“关注点分离”原则，将属于业务逻辑的关注点放到领域层（Domain Layer）中，而将支撑业务逻辑的技术实现放到基础设施层（Infrastructure Layer）中。同时，领域驱动设计又颇具创见的引入了应用层（Application Layer）。应用层扮演了双阅读全文

posted @ 2017-12-21 20:42 papering 阅读(805) 评论(0) 推荐(0) 编辑

linux 多个文件中查找字符串 hadoop 3 安装调试

摘要： http://www.cnblogs.com/iLoveMyD/p/4281534.html 2015年2月9日 14:36:38 [root@hadoop3 logs]# cat hadoop-root-namenode-hadoop3.log 2017-12-29 15:06:50,183 IN 阅读全文

posted @ 2017-12-21 17:44 papering 阅读(755) 评论(0) 推荐(0) 编辑

python 获取代码宿主机名 ip

摘要： 1、获取hostname 相同代码不同宿主机日志名互异且可识别宿主机分布式爬虫 https://docs.python.org/3.6/library/socket.html#socket.SOCK_RAW socket.gethostbyname(socket.gethostname( 阅读全文

posted @ 2017-12-21 13:13 papering 阅读(740) 评论(0) 推荐(0) 编辑

Apache Hadoop 3.0.0 Release Notes

摘要： http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-common/release/3.0.0/RELEASENOTES.3.0.0.html /usr/local/hadoop/etc/hadoop 没有slaves 各个节阅读全文

posted @ 2017-12-21 11:50 papering 阅读(241) 评论(0) 推荐(0) 编辑

控制你的数据，你才能得到有效且高效的数据结果

摘要：精细化处理控制你的数据，你才能得到有效且高效的数据结果阅读全文

posted @ 2017-12-21 10:19 papering 阅读(163) 评论(0) 推荐(0) 编辑

2017年12月20日

读写分离与主从同步数据一致性

摘要： MySQL的读写分离与主从同步数据一致性 - windpoplar - 博客园 https://www.cnblogs.com/windpoplar/p/11978742.html MySQL的读写分离与主从同步数据一致性有没有做MySQL读写分离？如何实现mysql的读写分离？MySQL主从复制阅读全文

posted @ 2017-12-20 18:13 papering 阅读(341) 评论(0) 推荐(0) 编辑