摘要：思考：sql为什么那么强大，sql解决了什么问题？hive和spark都支持sql,ES 和flink也支持sql了解下spark为什么能够支持sql;flink为什么能够支持sql?SQL:Structured Query Language所以从字面可以看出来，只有结构化的数据才能sql查询，这个 阅读全文
如下架构的调整就是一种“移动算力”的情形
2019-06-26 16:11 by 乘着风去破浪, 201 阅读, 0 推荐, 收藏, 编辑
摘要：说明：B是一个网络服务的server 思考：如下流程进行调整？说明：如下架构的调整就是一种“移动算力”的情形A >B -- > redis -- > esA >redis > B -redis --> es调整后的架构优势：A优先读取redis,若成功，就无需再进行（网络调用）B服务了。如此一来就把 阅读全文
越是松散和动态的，越要进行适当和合理的控制，不然会造成很多麻烦；（权衡之道-利弊（相依相存）分析）
2019-06-26 16:09 by 乘着风去破浪, 207 阅读, 0 推荐, 收藏, 编辑
摘要：越是松散和动态的，越要进行适当和合理的控制，不然会造成很多麻烦；（权衡之道-利弊（相依相存）分析）比如：支持动态字段的es,如果把ES当做一个关系数据库的替代品来存储业务模型数据，那么就需要对进入到索引的字段进行“准入”控制，不然，任何不加控制的字段都可以进入到索引，那么岂不是变得混乱； 阅读全文
缓存属于哪类的解决方案
2019-06-21 16:17 by 乘着风去破浪, 203 阅读, 0 推荐, 收藏, 编辑
摘要：缓存属于哪类的解决方案不是解决问题，而且避免问题；就是说不是直接优化调用端，而是要缓存的方式来对下一次请求进行响应； 阅读全文
对需求的理解深度影响你的设计水平：
2019-06-21 16:17 by 乘着风去破浪, 253 阅读, 0 推荐, 收藏, 编辑
摘要：对需求的理解深度影响你的设计水平：如果想让你开发一个支持二级权重的子召回，而你真的做了一个子召回，它仅仅支持二级权重的子召回，后面如果让你开发一个三级权重的子召回，你还得大动干戈改动代码吗？我们可以对这个需求进行分解，分析，二级权重的子召回，那么就分解为二级和权重两个部分，而权重的召回属于一个新的召 阅读全文
日志埋点不可少的点
2019-06-21 16:16 by 乘着风去破浪, 767 阅读, 0 推荐, 收藏, 编辑
摘要：日志埋点不可少的点有网络调用的代码块，有访问磁盘的代码块，因为这些地方都是大概率会阻塞和耗时的地方； 阅读全文
资源的使用：能节省的地方一定要节省，达不到节省条件的不能节省，该怎么用就怎么用（不要因为存储影响了计算，存储容量不是技术问题）？
2019-06-21 16:16 by 乘着风去破浪, 255 阅读, 0 推荐, 收藏, 编辑
摘要：资源的使用：能节省的地方一定要节省，达不到节省条件的不能节省，该怎么用就怎么用（不要因为存储影响了计算，存储容量不是技术问题）？比如，如果数据量小，而且高度重复的内容，可以用redis缓存，而且还可以进一步使用local cache;如果，如果一个app的用户基数月活8000万，那么存储这些用户维度 阅读全文
设置多少线程合适？并不是依据你cpu的核数而定的？
2019-06-19 20:31 by 乘着风去破浪, 658 阅读, 0 推荐, 收藏, 编辑
摘要：设置多少线程合适？并不是依据你cpu的核数而定的？如果是慢任务，不依赖下游服务（如果依赖，要考虑下游能否扛得住你转嫁给他的压力），当然是越多越好，多到切换开销的时长超过了处理时长（一般情况下，切换开销很难会超过处理时长的，这就是一个很普通存在的误解的滥用，会经常有人这么说，并据此来告诫人说一味增大线 阅读全文
网络服务超时分析：
2019-06-19 20:26 by 乘着风去破浪, 437 阅读, 0 推荐, 收藏, 编辑
摘要：网络服务超时分析： 第一个要怀疑的地方应该是服务端是否及时接收并处理了请求，关键点是找出及时性是否，通过客户端记录下发送时间，和客户端接收并开始处理时间， 把这两个时之差算出来，可以确定这个事情； 第二个要怀疑的地方就是，客户端处理耗时多长，从接收到处理，计算一个时长就可以知道了； 第三个，就是我们 阅读全文
思考：网络性能优化：网络 -- cpu -- 线程数 -- 单个任务耗时 --- qps --- 并发
2019-06-19 19:48 by 乘着风去破浪, 718 阅读, 0 推荐, 收藏, 编辑
摘要：思考：网络性能优化：网络 -- cpu -- 线程数 -- 单个任务耗时 qps 并发如果没有理清楚上述概念和它们之间的关系，那么优化会毫无章法；线程越多，利用上的线程越多，cpu的idle会约低，只到cpu低得不能再低，一般情况下，可以可劲用（idle为10%你遇到过吗？），但是要注意你的下游能否 阅读全文