摘要：
方法一 1. 找到目标 Hive 的 hive-site.xml 文件，拷贝到 spark 的 conf 下面。 在我的情况下 /etc/hive/conf/hive-site.xml -> /usr/lib/spark/conf/hive-site.xml 2. 运行期间，遇到一个问题： 相关解答 阅读全文
摘要：
/etc/hadoop/conf/yarn-site.xml 配置文件中 - yarn.nodemanager.log-dirs 指定本机的日志路径 (/hadoopfs/fs1/yarn/nodemanager/log/application_1546250639760_0052/containe 阅读全文
摘要：
今早遇到一个bug，提交 spark job 失败。说 hdfs 在 safe mode状态，不允许创建和删除文件。 然后发现 hdfs 的日志文件不断滚动，几乎每秒钟100M的速度打日志，当时没有看懂。safe mode 打开关闭了几回，发现主要的问题是下面这条日志： 翻译：blk_1073748 阅读全文
摘要：
在 alter table 时，必然出现了 lock 错误，检查 processlist ，全都是 sleep 状态，然后检查 information_schema.innodb_trx 发现一个活跃状态的连接，于是推测有一个程序执行时，session 没有释放就结束了，从而引发该问题。 进一步发现 阅读全文
摘要：
今天遇到了两个问题： 1. 使用 python 的 PIL 库读取照片的尺寸，对于有些图片，长宽和显示的效果相反，原因是照片中的 exif 有个属性 orientation，表示图片的翻转角度，详细说明见: https://support.qiniu.com/hc/kb/article/112972 阅读全文
摘要：
下面的问题，在flask程序独立运行中，都没有问题，但是部署在 uwsgi 上表现异常： 1. 在http请求处理过程中，产出异步线程，放在线程池中，线程的启动时间有比较明显的延迟。 2. 在异步线程中，使用了 time.sleep 方法，睡眠时间远远超过设定值，而且，似乎不会主动醒来。 后参考了博 阅读全文
摘要：
最近在使用 Flask 中使用 SQLAlchemy 开发程序，一开始好好的，然后使用 uWSGI 部署到线上后，出现了各种 mysql 客户端的问题，如： 等等。 直觉告诉我，一定是多线程引起的问题。但 flask 在使用 sqlalchemy 时，已经使用 scoped_session 包装了数 阅读全文
摘要：
发表于：《程序员》杂志2016年2月刊。链接：http://geek.csdn.net/news/detail/54500 作者：徐鑫，董西成 在流式计算领域，Spark Streaming和Storm时下应用最广泛的两个计算引擎。其中，Spark Streaming是Spark生态系统中的重要组成 阅读全文
摘要：
工作一年半，终于明白，沟通交流的重要性。近半年，老大忙于其他业务，对我现在的业务没有太多关注，直接导致我遇到的问题不能很快推进，让我苦恼了很久。今天被人点醒，其实我需要多跟外界交流工作。主动跟业界保持交流，向外学习，而不是依赖于固定的人。这也是一种风险控制的方法。接下来，我会花很多精力在这个方面的成... 阅读全文
摘要：
最近因为项目原因，认真学习了一下 log4j 相关内容，主要是从网上找资料，以及追踪原代码。关于如何使用，网上有很多资料，这里不做具体介绍。下面介绍一下这些工具的关系。log4j 是最强大和流行的日志工具，同时又有很多其他的日志工具，比如 logback（据说比log4j 更优秀，由同一班人马打造）... 阅读全文