摘要：
GNN的演进与理论 如何理解 Graph Convolutional Network（GCN）？ - superbrother的回答 - 知乎 https://www.zhihu.com/question/54504471/answer/332657604 频域系列GCN的理解与详细推导（拉普拉斯矩 阅读全文
摘要：
Windows平台上，pip install fastFM scrapy等工具的时候，经常出现 error Microsoft Visual C++ 14.0 is required 的错误， 原因是部分python包是使用c或者c++编写的，因此在安装的时候需要使用 c++生成工具集。 解决方案有 阅读全文
摘要：
如何在本地使用scala或python运行Spark程序 包含两个部分： 一，scala在本地能成功调用并运行spark接口的主要原理： 二、scala的编译与打包运行 三、python在本地能成功调用并运行spark接口的主要原理如下， 首先，依赖以下几个环境： 四、本地python调spark的 阅读全文
摘要：
Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录 Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6 阅读全文
摘要：
mac os x 环境下 libFFM 与 python-libffm的安装问题 export PATH=/usr/local/opt/gcc/bin:$PATH export PATH=/usr/local/Cellar/llvm/8.0.0_1/bin:$PATH alias gcc='gcc- 阅读全文
摘要：
评分卡的优势： 可解释性的对策 稳定性的要求及其对策 及时监控的要求 审核要求：分数分组、分区间 量化损失的要求，确定利息成本 特征工程的优化方向： 命名的规则化：因在特征变量的命名中包含：数据来源、 数据分布类型(连续型,离散型 )、 数据类型（字符、数字），以便做自动化 同源特征的自动化： 自动 阅读全文
摘要：
mongdb 的数据介绍： 系统有多个用户，contractId 代表用户Id，其中 serialno 也是一种 id，代表该客户登录系统的编号，该 contractId 每次登录系统都会产生不同的 serialno，但同一次登录都会产生不同的数据，也就是如下数据会产生多条，stepCode 不一样 阅读全文
摘要：
VS code 配置 自定义快捷键 及其对应操作 由于 vs code 的官方 go 插件不支持像 goland 一样运行当前 go 文件， 只能项目 或者 package 级别地运行， 因此有必要为初学者提供一个只运行当前文件的配置快捷键方法。 { "label": "gorun", "type" 阅读全文
摘要：
## sphinx 生成开发文档#### 配置 1. 运行如下命令，即可生成 conf.py index.rst Makefile 三个文件： `sphinx-quickstart` 2. conf.py 负责全局配置： 1. 注意一定要启用 `autodoc` 2. `autodoc` 对应配置在： `extensions = ['sphin... 阅读全文
摘要：
iredmine的linux服务器mysql性能优化方法与问题排查方案 问题定位： 客户端工具： 1. 浏览器inspect-tool的network timing工具分析 2. 浏览器查看 response header， 分析http server 与 web server. 服务器工具： 0. 阅读全文
摘要：
Linux、Mac osx 系统中，出现 matplotlib 或 seaborn 绘图中有中文乱码的情形，可以考虑使用以下方式处理： 到 anaconda 的 matplotlib 中查看是否有 simhei.ttf 字体： cd ~/anaconda3/lib/python3.5/site-pa 阅读全文
摘要：
1. 同列多行数据组合成一个字段cell的方法， top N 问题的hive方案 如下： 2. 建表存储list类型数据的方法以及注意点 3. 将array<string>类型数据转成string显示的方法 阅读全文
摘要：
python从2.6开始支持format，新的更加容易读懂的字符串格式化方法， 从原来的% 模式变成新的可读性更强的 综合举例说明： 输入： '{:>18,.2f}'.format(70305084.0) # :冒号+空白填充+右对齐+固定宽度18+浮点精度.2+浮点数声明f 输出：' 70,305 阅读全文
摘要：
hive中grouping sets 数量较多时如何处理? 可以使用如下设置来 set hive.new.job.grouping.set.cardinality = 30; 这条设置的意义在于告知解释器，group by之前，每条数据复制量在30份以内。 grouping sets是一种将多个gr 阅读全文
摘要：
理解python metaclass使用技巧与应用场景分析 <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> 参考： 阅读全文
摘要：
<!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> Celery的实践指南 celery原理： celery实际上是实现了一个典型的生产者-消费者模型的消息处理/任务调度统，消费者(worker)和生产者(client)都可以有任意 阅读全文
摘要：
本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 s 阅读全文
摘要：
<!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> mac osx 系统 brew install hadoop 安装指南 遇到的问题： 一， 如在hdfs -put ~/file fileonhdfs 时， 出现error：WAR 阅读全文
摘要：
在安装pcapy时，出现以下错误： building 'pcapy' extension error: Microsoft Visual C++ 9.0 is required (Unable to find vcvarsall.bat). Get it from http://aka.ms/vcp 阅读全文
摘要：
1. Mac平台 在mac上安装scapy可以说是困难重重，一来因为scapy实在有些小众和老旧，再加上安装说明文档都是python2.5 也没有详细说明一些安装问题。 折腾了大概三个小时之后终于解决了这个老大难。 注：我的环境为anaconda2.3 - python2.7.10 一，首先scap 阅读全文
摘要：
domain实际上是一个隔离容器，将一个或者多个eventEmiter放入容器中，这样由该event发出的事件，如果出现异常就会最终被该domain捕获。 demo代码可参见： var EventEmitter = require("events").EventEmitter; var domain 阅读全文
摘要：
web开发中的 emmet 效率提升工具 可以用来快速生成html 代码。 并且给各种IDE、编辑器提供了插件支持，sublime ，webstorm等。 如在webstorm中安装好emmet之后，输入以下文本， #page>div.content[ng-model="user"]+ul>li*5 阅读全文
摘要：
未来10年房地产存量与人口需求量分析计算的基本思路：25~35岁人口结构中城镇人群购房总需求 与 房地产总量对比。人口总数： 13.57亿 假定需求方为25~40岁人群，即为：当前15~30岁 人口比例 6.5% + 7.5% + 7% = 20% --》 13.57 * 0.2城镇化比例： 6... 阅读全文
摘要：
Apple individual program 加入之后的玩法 官方资源0. 开发资源文档0.1 开发文档：https://developer.apple.com/support/resources/index.html0.2 开发工具 Xcode：https://developer.apple.... 阅读全文
摘要：
nginx 反向代理 与 Apache backend的配置联合配置：说明： nginx 将http映射到Apache上的特定子目录。配置方法步骤：1. 设置域名， 子域名映射到指定服务器ip，2. nginx设置好server ，以及对应的目录， 或者 转发到指定Apache端口。server {... 阅读全文
摘要：
ubuntu for laptop系统在系统休眠后wakeup 之后,网络连接失败, 有线网络无法连接, 无线wifi无法连接, 只能重启后才能恢复, 此时可以采用以下方法处理:1. 在/etc/pm/sleep.d/目录下创建network-manager-resume.2. 贴上以下命令并保存.... 阅读全文
摘要：
Javascript的一个生产PDF的库： unicode和中文问题的解决基于canvas和jspdf库, 实现用javascript的支持中文pdf生成实用工具.参考：http://javascript.ruanyifeng.com/htmlapi/canvas.html1. 使用canvas将中... 阅读全文
摘要：
redmine v3.0.2版的安装问题参考上次在朋友公司的云主机上安装的过程：1. 下载2. gem install bundler3. bundle install 出现rmagick 装不上的问题，通过以下方案解决。$ sudo apt-get install libmagickwand-de... 阅读全文
摘要：
对于运维工程师来讲，etc环境是一个痛点，各种配置，各种修改，某些软件的配置关联因素过多的话，那就更加痛苦了，改完发现不对再想改回去都千难万难， 现在有一个好的解决方案，那就是用etckeeper，绝对是解救运维工程师的利器之一！etckeeper本质上就是 git 管理 etc 版本环境的思维， ... 阅读全文
摘要：
apache的配置：1. 开启php module查看mods-enabled/php5.load 是否存在，不存在的话， 就从mods-avaliable中复制一个到mods-enabled中。2.apache2.conf的设置： Options FollowSymLinks ... 阅读全文
摘要：
近来公司redmine服务器表现很糟糕，在16核，64GRAM的机器上，压测结果竟然只有每秒5~7个请求，部分页面一个都出不来。以下是我对Redmine性能优化方案:redmine服务器性能问题排查与优化建议：以下建议的方案是基于redmine运行期的log文件中的render耗时、activere... 阅读全文
摘要：
以下脚本写于redmine性能排查时，用于定位系统性能瓶颈的采样，源地址为~/performanceLog/collectLog.sh中，计划放入github的代码片段库中.注： 如果mysql的地址或者目录更换，此脚本中dstat 的mysql相关数据的采集需要重写其插件的mysql连接部分的代码... 阅读全文
摘要：
linux环境下使用script可以比较方便地录制在终端的用户操作记录、输出信息以及对应的时间，配合上scriptreplay就可以像屏幕录制一样回放之前录制的内容，有了它你可以非常方便地查看你之前的记录，以及选取回放中的内容来编写博客，甚是舒适。1. 基础录制方法1.1 script #开始录制1... 阅读全文
摘要：
本文主要讲述搭建好私有的mediawiki之后，管理员可能需要用到的几个功能。维基百科的设计思路与我以往使用的系统不太一样，以管理员模式进入之后，并没有我预想的添加wiki页面入口，和侧边栏导航条的编辑页；管理页面的入口也设置的比较奇怪，比较难找，好在网上有前人经验，花点时间解决了mediawiki... 阅读全文
摘要：
go2shell的安装与修改默认terminal方法1. 安装go2shell后，打开finder的application文件夹，找到go2shell2. 按住command，用鼠标将go2shell拖到finder的toolbar上到这里安装设置完成。如果要修改默认terminal，比如你想要在f... 阅读全文
摘要：
npm install -g 全局安装总是出现permission权限问题的解决方案开始使用node的时候，在使用npm安装global packages时，习惯性地使用npm install -g xxx，然后总是提示权限问题，安装失败。需要使用sudo。这问题确实让我比较窝火。一个package... 阅读全文
摘要：
likwid: like I knew what I am doing.是一系列工具的集合，用于针对多线程程序的指标分析，方便程序员进行性能调优工作。可以深入到控制cpu等硬件的频率。主要包括以下小工具:likwid-topology: Show the thread and cache topol... 阅读全文
摘要：
针对IO密集型应用做系统调优的时候，我们通常都需要知道系统cpu 内存 io 网络等系统性能 和 使用率，结合应用本身的访问量，以及 mysql的性能指标来综合分析。比如说：我们将系统压力情况分为三个阶段：从用户端开始到web server，再到mysql。1. 客户量：我们可以从web app的访... 阅读全文
摘要：
本文主要讲述高并发http应用中的c10k瓶颈问题：在很多服务器初始状态下，无法服务1w左右的并发连接。这与每次服务的资源消耗、服务器的硬件配置固然有关，但很多时候是被linux的默认配置以及软件stack选型所限制。本文主要分析c10k问题的产生原因、限制因素以及解决方案。如果硬件配置没有问题，性... 阅读全文
摘要：
想必大家在命令行环境下工作时候，一定有想要查找当前目录下的源代码文件中的某些字符的需求，这时候如果使用传统方案，你可能需要输入一长串的命令，比如这样：1. grep -R 'string' dir/ 或者grep -r -e string directory2.grep -rnw 'directo... 阅读全文