随笔分类 - 数据库
数据库
摘要：需求：要双色球红球和值是52的所有三码的组合。mysql 几个字段求和作为过滤条件，查询去重后的结果，DISTINCT
阅读全文
摘要：sqlyog导出带有列名的csv文件导出多列excel内容
默认导出的csv文件用excel打开只有一列，内容都挤在一起了，没法用
需要修改下设置才行，具体步骤如下，主要是更改一下 填写excel友好值（被转义的由 \ 变成 \\ ）：
阅读全文
摘要：mysql数据库突然连接失败，启动不了的解决思路，可能是磁盘满了，需要删掉日志后重启才能自动恢复
错误号码2013
Lost connection to MySQL server at handshake: reading inital communication packet system error:2
用df命令查了下，果然磁盘满了，达到100%了，用du -hs 命令查询并删除一些大的日志文件：
删除了些没用的日志后，重新启动数据库还是出错，用df命令查询占用空间还是100%，需要reboot重启服务器才行。
阅读全文
现在大数据仓储都low了，搞数据湖
摘要：大数据4个明显的特征，大数据思维四个递进的层次
大数据4个明显的特征：
1.数据量足够大，要大到让统计的结果具有非常高的置信度
2.具有多维度的特征，而且各个维度最好是正交的
3.数据的完备性，完备性使得大数据可以算无遗策
4.在一些场景下的实时性，比如堵车信息一定时间过了数据就失去意义了
--------
大数据思维四个递进的层次：
第一层：从大量的、看似杂乱无章的数据点，总结出原来找不到的相关性。
第二层：不事先作假定，从大数据出发先得到结论，再分析原因。
第三层：利用大数据在准确把控宏观规律的同时，精确到每一个细节。
第四层：用不同维度找到的强相关性可以取代因果关系。
大数据的4个明显的特征，即数据量大、多维度、完备性和在一些场景下的实时性。我们特别强调了光是数据量大还不能构成大数据，因为它可能无法得出有效的统计规律，而多维度的特征则让我们可以交叉验证信息，提高准确性。
阅读全文
摘要：中台设计概念
中台大概可以划分为：业务中台、数据中台、算法中台、技术中台、研发中台、组织中台、字典中台
业务中台：提供重用服务，例如用户中心、订单中心之类的开箱即用可重用能力，为战场提供了空军支援能力，随叫随到，威力强大；
数据中台：提供数据分析能力，帮助从数据中学习改进，调整方向，为战场提供了海军支援能力；
算法中台：提供算法能力，帮助提供更加个性化的服务，增强用户体验，为战场提供了陆军支援能力，随机应变，所向披靡；
技术中台：提供自建系统部分的技术支撑能力，帮助解决基础设施，分布式数据库等底层技术问题，为前台特种兵提供了精良的武器装备；
研发中台：提供自建系统部分的管理和技术实践支撑能力，帮助快速搭建项目、管理进度、测试、持续集成、持续交付，是前台特种兵的训练基地；
组织中台：为项目提供投资管理、风险管理、资源调度等，是战场的指挥部，战争的大脑，指挥前线，调度后方。
字典中台：为项目提供国际、国家、业界等标准规范字典并保持及时更新。
阅读全文
摘要：centos7安装最新稳定GA版mysql-5.7.31实战全过程详解
ps：mysql最新GA版是5.7.31了，之前是5.7.28
1.查询数据库版本
mysqld -version
mysqld (mysqld 5.7.31)
2. 卸载自带的mariadb和mysql
# rpm -qa | grep mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
# rpm -qa | grep mysql
下载地址：https://dev.mysql.com/downloads/mysql/5.7.html#downloads
由于这个在国内下载速度很慢，上传速度也很慢
可以直接复制浏览器下载里面的url地址，在服务器上用wget命令直接下载
到/opt/mysql目录下（没有mysql目录则创建一个）执行：wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.31-linux-glibc2.12-x86_64.tar.gz
阅读全文
摘要：mac电脑mysql常用命令
用命令行启动（重启用restart，停止用stop）：
sudo /usr/local/mysql/support-files/mysql.server start
#linux下可能需要使用下面命令（注意是mysqld，后面有个d）：
systemctl restart mysqld
用命令查一下mysql的安装路径信息：
ps -ef | grep mysql
#需要设置别名才能直接使用mysql命令
alias mysql=/usr/local/mysql/bin/mysql
#登录mysql
mysql -u root -p
#如果mysql -u root -p 使用不了，可以尝试下面命令：
/usr/local/mysql/bin/mysql -h localhost -u root -p
阅读全文
摘要：Kafka 中文文档 - ApacheCN https://kafka.apachecn.org/intro.html
Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢?
我们知道流处理平台有以下三种特性:
可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
可以储存流式的记录，并且有较好的容错性。
可以在流式记录产生时就进行处理。
阅读全文
摘要：Redis主从复制、哨兵、Cluster三种模式
Redis作为缓存的高效中间件，在我们日常的开发中被频繁的使用，今天就来说一说Redis的四种模式，分别是「单机版、主从复制、哨兵、以及集群模式」。
可能，在一般公司的程序员使用单机版基本都能解决问题，在Redis的官网给出的数据是10W QPS，这对于应付一般的公司绰绰有余了，再不行就来个主从模式，实现读写分离，性能又大大提高。
程序员仅限于单机版和主从模式的crud是不行的，至少也要了解「哨兵」和「集群模式」的原理
单机
单机版的Redis就比较简单了，基本90%的程序员都是用过，官网推荐操作Redis的第三方依赖库是Jedis，在SpringBoot项目中，引入下面依赖就可以直接使用了：
阅读全文
摘要：mac电脑mysql常用命令
用命令行启动（重启用restart，停止用stop）：
sudo /usr/local/mysql/support-files/mysql.server start
#linux下可能需要使用下面命令（注意是mysqld，后面有个d）：
systemctl restart mysqld
用命令查一下mysql的安装路径信息：
ps -ef | grep mysql
#需要设置别名才能直接使用mysql命令
alias mysql=/usr/local/mysql/bin/mysql
#登录mysql
mysql -u root -p
#如果mysql -u root -p 使用不了，可以尝试下面命令：
/usr/local/mysql/bin/mysql -h localhost -u root -p
#查看数据库
mysql> show databases;
阅读全文
摘要：Mac电脑mysql安装了无法启动，卸载重装方法
mysql 下载：https://dev.mysql.com/downloads/mysql/
https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.21-macos10.15-x86_64.dmg
https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.31-macos10.14-x86_64.dmg
安装后最后一步弹出框里是默认的随机密码，要记得保存，而且只能使用一次，登陆连接后就会要求你修改密码才能使用。
安装后无法启动，5.7.31版本的没有直接卸载的按钮。需要用命令进行卸载。
阅读全文
摘要：忘记mysql密码如何修改，Mac mysql my.cnf 配置文件，启动MySql服务命令，无法启动，无pid报错原因，卸载重装方法
停止MySQL服务
sudo /usr/local/mysql/support-files/mysql.server stop
2.跳过验证：修改MySQL安装目录下的my.cnf(或my.ini)配置文件，使登录时跳过权限检查；
#在my.cnf，[mysqld]下面添加一行，使其登录时跳过权限检查
skip_grant_tables
3.修改密码：启动MySQL服务，登录MySQL，此时提示输入密码，输入任意密码回车即可进入MySQL。
mysql -u root -p
4.通过SQL语句修改root用户的密码；
mysql> USE mysql;
mysql> UPDATE user SET password=PASSWORD(‘newpasswd’)WHERE user=’root’;
mysql> flush privileges;
5.重启服务：将my.cnf文件中加入的跳过权限语句删除或加#号注释。重启服务，使用修改后的密码登录即可。
阅读全文
摘要：Mac下干净彻底地卸载 MySQL方法
阅读全文
摘要：Mysql数据库用source命令导入SQL文件，利用navicat修改MySQL用户root密码，忘记mysql密码如何修改
Mac电脑，查看mysql安装目录
ps -ef | grep mysql
进入mysql命令行
/usr/local/mysql/bin/mysql -h localhost -u root -p
输入正确的密码后回车即可成功登录。(中文输入法要切换成英文输入法)
把SQL文件（例如：mytest.sql）上传到服务器的/tmp目录，执行下面的命令即可:
mysql> source /tmp/mytest.sql
利用navicat修改MySQL用户root密码
有时候Navicat连接了数据库，但密码忘记了，想修改数据库密码，没有源密码进入不到命令行界面，可以直接用Navicat进行修改
1.双击本地数据库（连接数据库），然后点击用户。2.选中要修改的用户（127.0.0.1和localhost是一样的），然后点击编辑用户
阅读全文
摘要：Mac版navicat生成ER图把表结构导出pdf
1.生成ER图，打开已经设计好的表视图界面，点击右上角的网格形状的按钮切换到ER视图：
2.导出PDF，选择数据库，右键，选择Print Database... 然后会打开一个PDF文件，再另存为就可以了
3.我Mac电脑安装了WPS，默认用这个打开，有需要也可以转换成Word文档或其他格式
导出格式有三种，pdf、svg和png，一般什么要汇报给领导看的文档用pdf比较好
4.在数据库名字上，右击选择逆向数据库到模型。就可以看到生成的模型，可能会有些偏差，但是关系不会发生变化的。
阅读全文
摘要：阿里云Redis云数据库外网用tableplus通过内网ssh连接
阿里云Redis云数据库外网IP要通过这个安全组添加才行的，但这功能已经下线了，需要提交工单才能开
外网连接Redis只能通过添加白名单IP的内网服务器用ssh连接才行。Redis官网的客户端没有ssh功能的，用tableplus通过内网ssh连接可以访问了
https://tableplus.com/
实际上ssh是最简单的转发端口
阅读全文
摘要：rocketMq和kafka的性能对比和原理，Kafka vs RocketMQ Topic数量对单机性能的影响
阿里巴巴中间件团队对rocketMq，kafka和rabbitMq的发送消息性能的测试，在单机同步发送的场景下，Kafka>RocketMQ>RabbitMQ。
阅读全文
摘要：mysql数据库表上百万记录优化思路杂谈
我的mysql数据库表上百万记录，插入数据的时候超慢，插入一笔都差不多将近1秒钟了
有没有做索引？数据量大了一般要做分区分表处理的，实时性要求高的一般要做缓存或者数据总线分层处理的
你用的是不是ssd硬盘？ssd硬盘比机械硬盘快很多倍。
数据库光靠调参数，以经提升到最快0.007秒多一笔插入的速度了
看来还是大数据技术比较重要
调整了那些参数提升这么多？
调了很多参数，mysql、springboot、shardingsphere、druid
可能需要评估一下如何加入Hadoop来进行存储及处理区块链的数据
阅读全文
摘要：对各种开发语言优劣的讨论，入门难度，IDE，大型网站并发性，java，golang，php，python，api接口，前后端分离
现在很多有高并发要求的 java c++的接口改成golang的
有个朋友公司就是把java写的接口改成golang的，听他说的是效率提高了上百倍，节省了大量服务器
java入门比较难，要达到熟练独立开发一个网站出来需要比较长的学习时间
php Python入门很容易，要做大型网站深入也很难
php Python零基础一星期就可以入门了
java你搞一个月门都没有找到
php做个小网站还是比较快的
Python做个小工具还是很好的，一个文件就可以直接运行起来了
金融相关的用java比较多，比较成熟了，招人也容易
现在流行前后端分离了
golang java 做API接口更有优势的
Python做科学计算，自动化，人工智能的更有优势
springboot springcloud 做API还是很不错的，之前的tomcat 那些容器搞得太复杂了
阅读全文
