摘要: Redis、MySQL、Hive、Hbase的区别 Redis:分布式缓存,强调缓存,基于内存,支持数据持久化,支持事务操作。 MySQL:关系型数据库,注重关系和事务性。 Hbase:列式数据库,字典查询,稀疏性存储,无法做关系数据库的主外键,用于存储海量数据,底层基于HDFS Hive:数据仓库 阅读全文
posted @ 2020-11-21 15:58 AI征途 阅读(818) 评论(0) 推荐(0) 编辑
摘要: MySQL数据库 数据库管理系统 数据库管理系统是一种大型软件。 常见的关系型数据库管理系统: Oracle DB2 SQL Server:现在用得少了 SQL Lite:用于手机端 MySQL:目前不要下载最新的8.0,下载5.7版本的。 下载地址:https://downloads.mysql. 阅读全文
posted @ 2020-11-13 20:03 AI征途 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 今天总结一下算法工程师在遇到问题时的解决方法。 比如,在训练的时候梯度是在变化,损失也在下降,看似一切正常,但是预测的结果却全部值为零,或全是正样本,生成的全是重复的无意义的字符:“啊啊啊啊啊啊啊啊”。 检查流程 复杂的模型换成简单的模型(Tramsformer → LSTM)。 暂时去掉不必要的数 阅读全文
posted @ 2020-10-17 19:33 AI征途 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 今天复习了一下KNN算法,用两种方法手动实现,在iris数据集上训练及测试。 KNN理论很简单,略,这里直接上代码。 import numpy as np import functools from collections import Counter from sklearn import dat 阅读全文
posted @ 2020-07-25 13:08 AI征途 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 在CV领域,可通过图片的旋转、灰化、随机裁剪等方式增加训练样本,并不会改变其语义,而在NLP领域,改变句子的顺序会改变语义。 阅读全文
posted @ 2020-04-15 17:50 AI征途 阅读(231) 评论(0) 推荐(0) 编辑
摘要: Fasttext模型结构 左图是Fasttext,右图是CBOW,可以看出Fasttext模型与CBOW的模型结构有点像,都有输入层、隐藏层、输出层,但二者还是有挺大区别的,二者的区别如下: 输入层: CBOW:输入的是每个词的One-hot向量; Fasttext:输入的是每个词的词嵌入向量。 隐 阅读全文
posted @ 2020-03-07 20:16 AI征途 阅读(1030) 评论(0) 推荐(0) 编辑
摘要: NLP=NLU+NLG NLU 自动写新闻 DreamWriter:腾讯AI撰稿机器人,年均新闻写作实际发稿量已超过50万篇、8000万字。以2018年11月15日为例,机器人共写作天气新闻1298篇、财经773篇、汽车546篇、房产126篇、体育76篇。 聊天机器人 Bi报告生成 NLU太难了。 阅读全文
posted @ 2020-02-14 09:21 AI征途 阅读(362) 评论(0) 推荐(0) 编辑
摘要: 机器学习工程实践中4种常用的调参方法 手动调参 网格搜索(Grid Search) 随机搜索 贝叶斯调优 各种方法的对比 参考:Gridsearchcv vs Bayesian optimization 特点 Grid search穷举所有参数的组合,以在所给的参数空间中寻找全局最优,而Bayesi 阅读全文
posted @ 2020-01-03 10:26 AI征途 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 如何判断一个链表是否存在环 哈希表法 哈希表法的基本思路是:把访问过的结点记录下来,如果在遍历中遇到了访问过的结点,那么可以确定链表中存在环。记录访问过的结点,最常用的方法就是使用哈希表了。 有了这一点思路之后,我们很快可以写出相应的题解代码: public boolean hasCycle(Lis 阅读全文
posted @ 2019-12-04 11:40 AI征途 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 动态规划 动态规划(Dynamic Programming,DP)是运筹学的一个分支,是求解决策过程最优化的过程。 动态规划的特点 Dynamic programming solves problems by combining the solutions to sub-problems A dyn 阅读全文
posted @ 2019-12-01 15:09 AI征途 阅读(111) 评论(0) 推荐(0) 编辑