摘要：
问题背景 最近遇到一个比较棘手的事情：hive sql优化： lib表（id,h,soj,noj,sp,np） --一个字典表 mitem表（md,mt,soj,noj,sp,np）--一天的数据，包含小时分区的表。 业务： 1）需要先把lib表与mitem表进行关联(关联条件是lib.soj=mi 阅读全文
摘要：
已知表myobject(objectid int) 按照objectid进行分页，其中objectid在表myobject中是唯一的（不重复）数据。 对表myobject进行分页 阅读全文
摘要：
hive也是支持索引的使用，但是如果表中已经有数据的情况下，创建索引的过程不是特别快。 已经拥有表： 创建索引： 备注：需要注意这里边创建索引实际上是插入了特定的数据到一个表。 原表更新数据： 备注：当表中已经拥有数据的情况下，必须执行该语句，否则索引没有起到效果。 删除索引： 查看索引： 阅读全文
摘要：
上一篇文章我们学习了android通过findViewById的方式查找控件，本章将了解button控件，及btton如何绑定控件。 通过android的ui设计工具设计一个登录页面： 1）文本框使用的EditText控件； 2）文本hint是输入提示； 3）inputType是文本内容的格式设定。 阅读全文
摘要：
导入 之前都是断断续续的看了一些于如何使用android开发的文章、资料等，到目前位置很多基础的东西都不清楚，于是去学习了别人的课程，才了认识了R类、findViewById方法查找组件、项目引入资源国际化、@string查找字符。 在学习之前我们需要安装环境，这里我采用开发环境是：win7 x64 阅读全文
摘要：
hadoop fs 更多用法，请参考官网：http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html 以下是我的使用hadoop fs -du统计文件时使用的记录： hadoop fs -count 阅读全文
摘要：
背景： 目前工作中遇到一大批的数据，如果不压缩直接上传到ｆｔｐ上就会遇到ｆｔｐ空间资源不足问题，没办法只能压缩后上传，上穿完成后在ｌｉｎｕｘ上下载。但是ｌｉｎｕｘ客户端的资源只有２０Ｇ左右一个压缩包解压后就要占用１６Ｇ左右的空间，因此想在ｌｉｎｕｘ上直接解压已经太折腾了（因为我们一共需要处理的这样的 阅读全文
摘要：
背景： 从ｆｔｐ上上传ｊａｒ包到ｌｉｎｕｘ上，之后在ｌｉｎｕｘ上通过ｆｔｐ命令下载ｊａｒ包文件，开始执行Java－jar，一直提示错误：Error: Invalid or corrupt jarfile xxx.jar 但是，本地在ｃｍｄ下执行通过。 本来我们是打算通过yarn jar或者hadoo 阅读全文
摘要：
在做测试数据时，往往会有ftp数据上传到hdfs的需求，一般需要手动操作，这样做太费事，于是有了下边代码实现的方式： ftp数据上传到hdfs函数： main调用函数： 使用yarn jar提交： 阅读全文
摘要：
背景：通常我们创建一个django系统时，为了把业务模块划分清楚往往会把一个独立的业务模块放到一个app中，如果多个独立的业务模块就会创建多个app，一般情况下为了更好的管理这些app，会把他们都存放到一个apps的文件夹目录（python package）。 如何创建apps目录（python p 阅读全文
摘要：
问题背景 添加文章时间没问题，但为了设定博客文章按照时间分层筛选(创建时间的年份、年月&月份来搜索文章)，我在blog这个django app的admin.py的ArticleAdmin类中做了如下设置： models.Article中create_time定义如下： 设置后，后台呈现效果： 按照时 阅读全文
摘要：
背景：重写django的系统User后,使用createsupperuser创建用户失败 由于项目需要扩展django默认新的auth.User系统（添加两个字段：头像、简介等字段），因此就重写了django的默认User类，重写后使用createsupperuser死活创建不了supperuser 阅读全文
摘要：
文章内容使用django-ckeditor 1）安装django-ckeditor 2）在settings.py的INSTALLED_APPS里添加ckeditor和ckeditor_uploader两个应用 3）同时需要在settings.py里设置ckeditor的文件上传路径等配置： 4）修改 阅读全文
摘要：
添加文章时出现了一个UnicodeEncodeError乱码问题 在添加文章时，抛出了异常： 解决方案，修改manage.py(添加import sys reload(sys) sys.setdefaultencoding('utf-8'))： 阅读全文
摘要：
Django后台一般是不需要人为的去开发的，因为django已经通过配置实现哪些模块是后台需要管理，如何排序，列表展示哪些列，列显示名称，是否为空（默认值），过滤条件，分页页数，列表中哪些项可编辑等等。 那么具体如何针对上一篇文章《Django：（博客系统）使用使用mysql数据&创建post/ca 阅读全文
摘要：
来自：http://blog.csdn.net/u012102306/article/details/51637366 资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各 阅读全文
摘要：
背景： 之前也读过一些关于django的一些书，看过别人写的一些博客系统。但是总有一种看别人的都会，但自己写不出来的感觉，于是为了加深对django的学习就开始动手学习了。 环境搭建： 环境：使用python2.7（x64）+django1.11.5+mysql5.7.17 win7x64环境下，i 阅读全文
摘要：
正在c#程序优化时，如果多线程效果不佳的情况下，也会使用多进程的方案，如下： 使用c#中的Process开启线程，并运行一个c#编译的一个Console的业务工程，Console.exe通过接收参数决定并行进程中的每个进程处理具体的任务：例如，实现一个多进程下载，传递给每个进程.exe的参数就是待采 阅读全文
摘要：
问题背景： 使用pycharm创建完成django项目（项目名称为：mydjangopro，app名称为my_blog） , 本想登录后台直接输入地址：http://127.0.0.1:8000/admin后，登录页面出现了，随便（username:admin,password:admin）输入了账 阅读全文
摘要：
该扑克牌游戏是别人写的程序，它是基于局域网写的，我本来计划是将其改写为一个服务器版本，但是实在是没有精力去研究，就先告一段落。 该扑克牌实现的功能点： C#、网络编程，WinForm 1）单冲牌，3个玩家； 2）局域网内三个玩家玩； 3）界面也简单，但是扑克牌的基本功能都实现了：洗牌、发牌、牌组、得 阅读全文