01 2018 档案

Django 数据库连接使用
摘要：整个项目已经放在Github上, 随时更新, 项目地址Django Model每一个Django Model都继承自django.db.models.Model在Model当中每一个属性attribute都代表一... 阅读全文
posted @ 2018-01-29 16:06 柚子=_= 阅读(198) 评论(0) 推荐(0) 编辑
TensorFlow 基础
摘要：使用TensorFlow，你必须明白TensorFlow：使用图(graph)来表示任务被称之为会话(Session)的上下文(context)中执行图使用tensor表示数据通过变量(Variable)维护状态... 阅读全文
posted @ 2018-01-25 20:37 柚子=_= 阅读(156) 评论(0) 推荐(0) 编辑
《深度学习原理与TensorFlow实践》学习笔记
摘要：作者 | 王清目录图像识别的经典课题计算机视觉图像识别课题卷积神经网络原理前深度学习时代卷积操作Convolution池化PoolingReLURectified Linear Units多层卷积Dropout经... 阅读全文
posted @ 2018-01-25 20:32 柚子=_= 阅读(344) 评论(0) 推荐(0) 编辑
深度学习框架比较（Caffe, TensorFlow, MXNet, Torch, Theano）
摘要：在这里，我将会介绍当前比较主流的5种深度学习框架，包括 Caffe, TensorFlow, MXNet, Torch, Theano，并对这些框架进行分析。首先对这些框架进行总览。库名称开发语言速度灵活性文档适... 阅读全文
posted @ 2018-01-25 20:20 柚子=_= 阅读(2532) 评论(0) 推荐(0) 编辑
TensorFlow 官方文档中文版
摘要：http://bigdata.rzaixian.com/tensorflowzh/https://github.com/jikexueyuanwiki/tensorflow-zhTensorFlow 官方文档中文... 阅读全文
posted @ 2018-01-25 20:16 柚子=_= 阅读(455) 评论(0) 推荐(0) 编辑
Tensorflow学习笔记:机器学习必备API
摘要：前一节介绍了一些最基本的概念和使用方法。因为我个人的最终目的还是在深度学习上，所以一些深度学习和机器学习模块是必须要了解的，这其中包括了tf.train 、tf.contrib.learn、还有如训练神经网... 阅读全文
posted @ 2018-01-25 20:11 柚子=_= 阅读(341) 评论(0) 推荐(0) 编辑
linux 文件权限(s、t、i、a)解析
摘要：r(Read，读取)：对文件而言，具有读取文件内容的权限；对目录来说，具有浏览目 录的权限。 w(Write,写入)：对文件而言，具有新增、修改文件内容的权限；对目录来说，具有删除、移动目录内文件的权限。x(eX... 阅读全文
posted @ 2018-01-25 16:08 柚子=_= 阅读(2641) 评论(0) 推荐(0) 编辑
vim Vundle
摘要：单独使用vim编辑文件时并没有如此错误提示。解决方案由于单独使用vim时并没有如此错误,怀疑默认的编辑器并非vim,利用echo $EDITOR查看默认的编辑器结果为空,因此设置默认的编辑器为vim.编辑~/.b... 阅读全文
posted @ 2018-01-25 10:19 柚子=_= 阅读(122) 评论(0) 推荐(0) 编辑
Python科学计算基础篇
摘要：关于NumpyNumpy是Python的一个矩阵类型，提供大量矩阵处理函数，内部通过C实现。包含两种数据结构，数组array和矩阵matrix，其实就是array而已构建数组array通过tuple构建array... 阅读全文
posted @ 2018-01-24 10:22 柚子=_= 阅读(415) 评论(0) 推荐(0) 编辑
IntelliJ IDEA 2017.3激活与汉化
摘要：本文以IntelliJ IDEA 2017.3为例进行讲解。（持续更新：2018年1月21日）适用版本（其它版本未测试）：IntelliJ IDEA 2017.2.6IntelliJ IDEA 2017.3Int... 阅读全文
posted @ 2018-01-23 09:43 柚子=_= 阅读(363) 评论(0) 推荐(0) 编辑
hive order by,sort by, distribute by, cluster by作用以及用法
摘要：1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一... 阅读全文
posted @ 2018-01-22 20:37 柚子=_= 阅读(677) 评论(0) 推荐(0) 编辑
Hive调优
摘要：在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。 以下... 阅读全文
posted @ 2018-01-22 20:32 柚子=_= 阅读(140) 评论(0) 推荐(0) 编辑
Hive 索引
摘要：hive里的索引是什么？ 索引是标准的数据库技术，hive 0.7版本之后支持索引。Hive提供有限的索引功能，这不像传统的关系型数据库那样有“键(key)”的概念，用户可以在某些列上创建索引来加速某些操作，给... 阅读全文
posted @ 2018-01-22 19:36 柚子=_= 阅读(330) 评论(0) 推荐(0) 编辑
hive视图
摘要：可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然... 阅读全文
posted @ 2018-01-22 17:26 柚子=_= 阅读(183) 评论(0) 推荐(0) 编辑
Hive 分区 分桶使用
摘要：为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。 分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。 分区... 阅读全文
posted @ 2018-01-22 17:18 柚子=_= 阅读(514) 评论(0) 推荐(0) 编辑
linux内核优化，内核参数详解
摘要：一、前言本文档针对OOP8生产环境，具体优化策略需要根据实际情况进行调整；本文档将在以下几个方面来阐述如何针对RedHat Enterprise Linux进行性能优化。1) Linux Proc文件... 阅读全文
posted @ 2018-01-20 10:26 柚子=_= 阅读(422) 评论(0) 推荐(0) 编辑
分布式系统领域经典论文翻译集
摘要：分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1. google系列论文译序2. The anatomy of a large-scale... 阅读全文
posted @ 2018-01-18 16:44 柚子=_= 阅读(251) 评论(0) 推荐(0) 编辑
Linux下CGroup进行CPU、内存等资源控制
摘要：留存from: http://www.cnblogs.com/kevingrace/p/5685433.html and http://www.cnblogs.com/wang_yb/p/3942208.ht... 阅读全文
posted @ 2018-01-17 16:54 柚子=_= 阅读(3139) 评论(0) 推荐(0) 编辑
yarn使用cgroup隔离资源
摘要：yarn默认只管理内存资源,虽然也可以申请cpu资源,但是在没有cpu资源隔离的情况下效果并不是太好.在集群规模大,任务多时资源竞争的问题尤为严重.还好yarn提供的LinuxContainerExecutor可... 阅读全文
posted @ 2018-01-17 16:52 柚子=_= 阅读(826) 评论(0) 推荐(0) 编辑
Linux Container Cgroup
摘要：Cgroups是什么？Cgroups是control groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组（process groups）所使用的物理资源（如：cpu,memory,IO等等）... 阅读全文
posted @ 2018-01-17 16:42 柚子=_= 阅读(313) 评论(0) 推荐(0) 编辑
YARN executor user
摘要：The Shell action has the following caveats:Interactive commands are not supported.MR1:In an unsecure clust... 阅读全文
posted @ 2018-01-16 18:15 柚子=_= 阅读(244) 评论(0) 推荐(0) 编辑
YARN详解
摘要：1. YARN架构1.1 简介1.1.1 架构YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。YARN总体上仍然是Mas... 阅读全文
posted @ 2018-01-16 17:48 柚子=_= 阅读(1141) 评论(0) 推荐(0) 编辑
linux性能分析工具介绍（CPU，内存，磁盘I/O，网络）
摘要：一. CPU性能评估1.vmstat [-V] [-n] [depay [count]]-V ： 打印出版本信息，可选参数-n ： 在周期性循环输出时，头部信息仅显示一次delay ： 两次输出之间的时间间隔co... 阅读全文
posted @ 2018-01-10 20:52 柚子=_= 阅读(341) 评论(0) 推荐(0) 编辑
Linux性能优化之CPU、内存、IO优化
摘要：Linux 的性能进行监测，以下是 VPSee 常用的工具：工具 简单介绍top 查看进程活动状态以及一些系统状况vmstat 查看系统状态、硬件和系统信息等iostat 查看CPU 负... 阅读全文
posted @ 2018-01-10 20:32 柚子=_= 阅读(893) 评论(0) 推荐(0) 编辑
ElasticSearch常用插件整理
摘要：说明1) 素材来自互联网，针对部分插件，已通过实际操作验证，进而整理、总结形成。（感谢度娘、感谢互联网、感谢开源世界里的大牛）2) 如有谬误，请及时指出。（咸鱼翻身，Email:defineconst... 阅读全文
posted @ 2018-01-10 09:43 柚子=_= 阅读(3337) 评论(0) 推荐(0) 编辑
postgresql常用命令
摘要：1.createdb 数据库名称 产生数据库2.dropdb 数据库名称 删除数据库3.CREATE USER 用户名称 创建用户4.drop User 用户名称 删除用户5.SELECT usenam... 阅读全文
posted @ 2018-01-08 20:42 柚子=_= 阅读(259) 评论(0) 推荐(0) 编辑
Hive调优技巧汇总
摘要：参考：http://blog.csdn.net/beckham008/article/details/23741151?utm_source=tuicool&utm_medium=referral1.设置合理so... 阅读全文
posted @ 2018-01-08 19:38 柚子=_= 阅读(2398) 评论(0) 推荐(0) 编辑
Hive – partition table query failed when stored as parquet
摘要：Hive is developed by Facebook to analyze and extract useful information from their huge data but now it is... 阅读全文
posted @ 2018-01-08 19:21 柚子=_= 阅读(939) 评论(0) 推荐(0) 编辑
Linux内核参数优化
摘要：在服务器硬件资源额定有限的情况下，最大的压榨服务器的性能，提高服务器的并发处理能力，是很多运维技术人员思考的问题。要提高Linux系统下的负载能力，可以使用nginx等原生并发处理能力就很强的web服务器，如果使... 阅读全文
posted @ 2018-01-08 11:32 柚子=_= 阅读(118) 评论(0) 推荐(0) 编辑
CDH配置使用介绍
摘要：1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/... 阅读全文
posted @ 2018-01-07 14:26 柚子=_= 阅读(719) 评论(0) 推荐(0) 编辑
Hadoop Hive HBase调优
摘要：性能调优之于Hadoop来说无异于打通任督二脉，对于Hadoop的计算能力会有质的的提升，而运维之于Hadoop来说，就好像金钟罩、铁布衫一般，有了稳定的运维，Hadoop才能在海量数据之中大展拳脚，两者相辅相成... 阅读全文
posted @ 2018-01-07 09:51 柚子=_= 阅读(435) 评论(0) 推荐(0) 编辑
Redis数据类型
摘要：Redis数据类型 最为常用的数据类型主要有五种：String, Hash, List, Set和SortedSet. redis内部使用一个redisObject对象来表示所有的key和value。redisO... 阅读全文
posted @ 2018-01-04 10:36 柚子=_= 阅读(146) 评论(0) 推荐(0) 编辑
Redis性能问题排查解决手册
摘要：Redis性能问题排查解决手册 阅读目录：性能相关的数据指标内存使用率used_memory命令处理总数total_commands_processed延迟时间内存碎片率回收key总结性能相关的数据指标通过Red... 阅读全文
posted @ 2018-01-03 20:44 柚子=_= 阅读(142) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示