04 2017 档案
摘要：安装包 pykafka 代码如下： 以上仅供开发测试使用，真正发布到线上需要多地方加固。。。 mark
阅读全文
摘要：以下均为开发测试环境下： 启动Zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &启动kafkabin/kafka-server-start.sh config/server.properties创建topicbin
阅读全文
摘要：filebeat端配置 报错如下： 上网查，filebeat解析的时候要解析到主机名， 所以绑定hosts如下 10.88.128.88 test43 问题搞定 按照报错，filebeat应该是先以配置的IP获取hostname，然后按照hostname连接kafka，如果通过hostname找不到
阅读全文
摘要：情感分析简介： 情感分析就是分析一句话说得是很主观还是客观描述，分析这句话表达的是积极的情绪还是消极的情绪。原理比如这么一句话：“这手机的画面极好，操作也比较流畅。不过拍照真的太烂了！系统也不好。”① 情感词要分析一句话是积极的还是消极的，最简单最基础的方法就是找出句子里面的情感词，积极的情感词比如
阅读全文
摘要：1. 准备好文本数据 2. pip install jieba 3. pip install wordcloud 4. 下载字体例如Songti.ttc（mac系统下的称呼，并将字体放在项目文件夹下） from os import path from scipy.misc import imread
阅读全文
摘要：MongoDB做集群，版本3.2官网推荐的集群方式Replica Set 准备服务器3台 两个standard节点（这两个节点直接可以互切primary secondary)。 一个arbiter节点，它手中握着一张选票，决定上面两个standard节点中的哪一个可以成为primay。 机器名称和预
阅读全文
摘要：一种方法： File --> Default Setting --> 选中Project Interpreter中的一个python版本-->点击右边锯齿形图标(设置)-->选择more-->选择刚才选中的那个python版本-->点击最下方编辑(也就是增加到这个python版本下)-->点击➕--
阅读全文
摘要：set @today='2017-04-25';set @ydate=DATE_SUB(@today, INTERVAL 7 day);select @today, @ydate; 待续。。。。
阅读全文
摘要：如更新忘记更新此文档，请参考链接： http://note.youdao.com/noteshare?id=d9b4d5c0f5991c63c5b8ae965722f619
阅读全文
摘要：通过yum安装的mysql，启动和增加数据库，增加数据如下： [root@wucl-4 lib]# systemctl start mariadb [root@wucl-4 lib]# mysql -uroot Welcome to the MariaDB monitor. Commands end with ; or \g. Your MariaDB connection id is 2 ...
阅读全文
摘要：创建用户 db.createUser({user: "abc",pwd: "abc123",roles: [ { role: "readWrite", db: "test" } ]}); db.system.users.remove({user:"abc"}) MongoDB导出数据 mongoex
阅读全文
摘要：参考和测试网站：http://grokdebug.herokuapp.com 例如：test-39.dev.abc-inc.com Mon Apr 24 13:53:58 CST 2017 2017-04-16 23:37:44,282 [DEBUG] add service:com.abc.ope
阅读全文
摘要：1.MySQL 5.7 for MAC 默认没有my.cnf文件 ，首先 新建my.cnf文件； 2.在my.cnf文件追加 1 2 3 4 5 6 7 8 [mysqld] character-set-server=utf8mb4 [client] default-character-set=ut
阅读全文
摘要：电子书： https://spark-internals.books.yourtion.com/
阅读全文
摘要：elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 重新启动elasticsearch，报错信息如下： [baoshan@test-43.dev.rokid-inc.com /home/baoshan/elk/elasticsearch-5.3.
阅读全文
摘要：经验教训： 加压缩jdk后需要先执行bin/java -version 查看是否能正常显示版本号。。。。。。 无法正常显示，报错如标题： $bin/java -version -bash: bin/java: /lib/ld-linux.so.2: bad ELF interpreter: 没有那个
阅读全文
摘要：现在时间2017-04-17。 python版本3.5支持pyspark python3.6目前还不支持 做法简单，只需要在bin/pyspark中增加 export PYSPARK_PYTHON=python3 再次打开bin/pyspark即配置完成pyspark采用python3. 如果想使用
阅读全文
摘要：Hadoop单机Hadoop测试环境搭建： 1. 安装jdk，并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env....
阅读全文
摘要：Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs-site.xml,yarn-site.xml 3. 格式化并启动HDFS 4. 启动Y...
阅读全文
摘要：使用python3和Django搭建自己的服务器的时候使用的是sqlite数据库,一切顺利. 可是等到布置生产环境的时候要换成MySQL,根据Django官网的文档也设置好了setting.DATABASES. 但是运行python3 manage.py makemigrations的时候又遇到错误
阅读全文
摘要：1、bin/logstash，新增 JAVA_CMD=/home/admin/soft/jdk1.8.0_121/bin JAVA_HOME=/home/admin/soft/jdk1.8.0_121 2、bin/logstash.lib.sh ，在页首新增 JAVA_HOME=/home/admi
阅读全文
