锐洋智能 - 博客园

2022年1月20日

摘要：有不少朋友在开发爬虫的过程中喜欢使用Selenium + Chromedriver，以为这样就能做到不被网站的反爬虫机制发现。先不说淘宝这种基于用户行为的反爬虫策略，仅仅是一个普通的小网站，使用一行Javascript代码，就能轻轻松松识别你是否使用了Selenium + Chromedriver 阅读全文

posted @ 2022-01-20 09:36 锐洋智能阅读(307) 评论(0) 推荐(0) 编辑

检测Selenium的js代码例子：

摘要： webdriver = window.navigator.webdriver; if(webdriver){ console.log('你这个傻逼你以为使用Selenium模拟浏览器就可以了？') } else { console.log('正常浏览器') } 阅读全文

posted @ 2022-01-20 09:34 锐洋智能阅读(82) 评论(0) 推荐(0) 编辑

2022年1月19日

selenium有多个class值时如何定位

摘要：如图，一些元素除了class值外，其他属性都一样，而class值有多个，不能直接使用driver.find_element_by_class_name("new-tj2 active")定位元素，此时可以用css元素定位方法： driver.find_element_by_css_selector( 阅读全文

posted @ 2022-01-19 16:52 锐洋智能阅读(2003) 评论(0) 推荐(0) 编辑

Java_Selenium_window.navigator.webdriver解决方案(selenium被识别的解决方法 )

摘要： selenium被识别的解决方法 ChromeDriver driver = new ChromeDriver(options); Map<String,Object> command = new HashMap<>(); command.put("source","Object.definePro 阅读全文

posted @ 2022-01-19 16:21 锐洋智能阅读(680) 评论(0) 推荐(0) 编辑

Nginx反爬虫：禁止某些User Agent抓取网站

摘要：问题之前客户能够正常访问的一个网站这几天访问很慢，甚至有时候还拒绝访问。通过Nginx访问日志排查，发现有大量的请求指向同一个页面，而且访问的客户端IP地址在不断变化且没有太多规律，很难通过限制IP来拒绝访问。但请求的user-agent都带有Bytespider标记，这是一种流氓爬虫。访问日志如阅读全文

posted @ 2022-01-19 11:34 锐洋智能阅读(230) 评论(0) 推荐(0) 编辑

mysql对多个字段排序

摘要：在对数据库进行查询的时候有时候需要将查询的结果按照某字段升序或者降序排列，甚至有时候需要按照某两个字段进行升降序排列。如果按照某一字段进行排列，只需要在查询语句最后写上 "order by 列名 asc"(升序) 或者 "order by 列名 desc"(降序)即可，那么如果按照字段A升序,字段B 阅读全文

posted @ 2022-01-19 09:30 锐洋智能阅读(567) 评论(0) 推荐(0) 编辑

2022年1月18日

Database "mem:h2" not found, either pre-create it or allow remote database creation (not recommended in secure environments) [90149-210] 90149/90149 解决

摘要： 1.4.198 (2019-02-22) 版本开始，H2不再自动创建数据库，很难在网上找到有解决方案,故down了源码 Connection to jdbc:h2:tcp://0.0.0.0:6666/./aika failed. [90149][90149] Database "/home/Hex 阅读全文

posted @ 2022-01-18 12:07 锐洋智能阅读(1132) 评论(0) 推荐(0) 编辑

tomcat9 _ nginx AbstractProcessor.parseHost [${ip}:${port}] 是无效主机解决

摘要：解决方法修改nginx 的原来配置： upstream xxx_tomcat]{ server 10.******* weight=1 ; server 10******** weight=1 ; } 改后配置： upstream xxxtomcat]{ server 10.******* wei 阅读全文

posted @ 2022-01-18 08:02 锐洋智能阅读(304) 评论(0) 推荐(0) 编辑

2022年1月17日

jQuery操作复选框checkbox技巧总结 ---- 设置选中、取消选中、获取被选中的值、判断是否选中等

摘要： jQuery操作复选框checkbox技巧总结设置选中、取消选中、获取被选中的值、判断是否选中等一、checked属性定义先了解下input标签的checked属性： 1、HTML <input> checked 属性 ◆ 定义和用法 checked 属性是一个布尔属性。 checked 属性阅读全文

posted @ 2022-01-17 20:52 锐洋智能阅读(475) 评论(0) 推荐(0) 编辑

2022年1月16日

pycharm Python error: PermissionError: [Errno 13] Permission denied:

摘要：今天用pycharm调试代码的时候，遇见了PermissionError: [Errno 13] Permission denied:，但是我实际上是有权限的，查看资料，发现原来是 debug 配置i里脚本的地方，填写了一个文件夹的路径，不是一个文件，就报了这个错： C:\Users\[usern 阅读全文

posted @ 2022-01-16 11:45 锐洋智能阅读(4561) 评论(0) 推荐(2) 编辑

2022年1月14日

Alpha量化系列七：网格交易法

摘要： Alpha量化系列七：网格交易法算法永不眠可能涉及财产风险一、背景量化交易中，有两个经典的交易策略：网格交易法、海龟交易法。其中网格交易主要因对震荡行情，而海龟交易法则主要应对趋势行情。因此，我们需要对这两种策略进行研究和分析，给出其核心思想，优缺点和适用场景。二、Summary 核心思阅读全文

posted @ 2022-01-14 09:19 锐洋智能阅读(1098) 评论(0) 推荐(0) 编辑

2022年1月11日

Jquery属性选择器（同时匹配多个条件,与或非）（附样例）

摘要： 1. 前言为了处理除了两项不符合条件外的选择，需要用到jquery选择器的多个条件匹配来处理，然后整理了一下相关的与或非的条件及其组合。作为笔记记录。 2. 代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 阅读全文

posted @ 2022-01-11 20:34 锐洋智能阅读(320) 评论(0) 推荐(0) 编辑

velocity 判断是否包含字符串（indexOf）

摘要： #if使用： 1. 单一判断 #if($value!="") 2. 两个或多个判断 #if($value != "" && $value != 0) 3. 为空判断（网上说 #if($value) 就代表不为空，我没试过） #if($value != $null) // 注意 null 前面必须要有阅读全文

posted @ 2022-01-11 10:57 锐洋智能阅读(1054) 评论(0) 推荐(0) 编辑

2022年1月10日

Velocity 页面加减运算

摘要：需在VM页面中进行加减运算，如 1 $!row.buyNum - $!row.sellNum 在页面上打印出来就是 3-0 然后不知道怎么用Velocity进行页面的加减运算，问了一下度娘，也找到答案 1 #set($tihuo=$!row.buyNum - $!row.sellNum) 1 是自己阅读全文

posted @ 2022-01-10 19:47 锐洋智能阅读(306) 评论(0) 推荐(0) 编辑

js 判断当前日期时间是否处于某个日期范围

摘要： js 判断当前日期(或者所选时间)是否在某一日期范围,js 日期比较大小,js判断日期是否在区间内,js判断今天是否在另外一个日期时间段内传入 beginDateStr （开始日期）， endDateStr（结束日期）废话不说直接上代码 /** * [isDuringDate 比较当前时间是否在阅读全文

posted @ 2022-01-10 13:15 锐洋智能阅读(1143) 评论(0) 推荐(0) 编辑

js方法实现页面停留几秒

摘要： js中不存在自带的sleep方法，要想休眠需要自己定义个方法直接调用函数sleep(500),表示页面停留0.5s后在执行下面的代码 function sleep(numberMillis) { var now = new Date(); var exitTime = now.getTime() 阅读全文

posted @ 2022-01-10 09:03 锐洋智能阅读(1029) 评论(0) 推荐(0) 编辑

2022年1月8日

Failed to convert property value of type ‘null‘ to required type ‘double‘ for property ‘balance‘解决方案

摘要：网上方法解决源代码： private int id; private String name; private double balance; 只需要把int和double换成整数和小数的包装类Integer和Double就可以了 private Integer id; private Stri 阅读全文

posted @ 2022-01-08 20:49 锐洋智能阅读(256) 评论(0) 推荐(0) 编辑

mysql中sum和count的区别

摘要： sum()函数和count()函数的区别其实两者很好容易区分,sum,即求和,多个列相加的和; count计数,一共有多少条数据sum()函数求累加; 对符合条件的记录的数值列求和;count()函数求个数; 对查询中符合条件的结果(或记录)的个数数据库中对空值的处理：sum()不计算，count( 阅读全文

posted @ 2022-01-08 15:10 锐洋智能阅读(566) 评论(0) 推荐(0) 编辑

jQuery each用法及each解析json

摘要： $(function(){ $("button").click( function(){ var a1=""; var a2=""; var a3=""; var a4=""; var a5=""; var colors=['red','blue','green','yellow','black', 阅读全文

posted @ 2022-01-08 10:44 锐洋智能阅读(103) 评论(0) 推荐(0) 编辑

velocity获取list，map以及list套map中数据

摘要： 1.velocity 获取list 中的值 VelocityEngine veloEngine = new VelocityEngine(); Template template = veloEngine.getTemplate(xmlPath, "UTF-8"); VelocityContext 阅读全文

posted @ 2022-01-08 10:44 锐洋智能阅读(787) 评论(0) 推荐(0) 编辑

2022年1月6日

pandas ewma

摘要： DataFrame.ewm(com=None, span=None, halflife=None, alpha=None, min_periods=0, adjust=True, ignore_na=False, axis=0, times=None)[source] Provide exponen 阅读全文

posted @ 2022-01-06 09:06 锐洋智能阅读(112) 评论(0) 推荐(0) 编辑

2022年1月5日

Pandas和talib对比

摘要：总结talib计算一维样本速度快的令人发指…但是缺点是面对多维样本只能通过循环pandas一维下虽然速度不及talib，但是10000的长度也只插了3ms左右，而且面对多维样本可以一步到位 Talib import talibarr data = talib.EMA(arr,timeperiod=2 阅读全文

posted @ 2022-01-05 19:59 锐洋智能阅读(454) 评论(0) 推荐(0) 编辑

java判断日期大小，大于等于，小于等于

摘要： date类型日期的before方法和after方法只能比较大于小于，不能比较大于等于，小于等于，结合equals就可以实现了，如下： if((sd1.before(now)||sd1.equals(now))&&(sd2.after(now)||sd2.equals(now))){ }else { 阅读全文

posted @ 2022-01-05 09:33 锐洋智能阅读(2848) 评论(0) 推荐(0) 编辑

mysql as if 多个,mysql as多个if语句

摘要： IF(condition, value_if_true, value_if_false) SELECT IF(500<1000, 5, 10) as reyo; SELECT IF(STRCMP("hello","bye") = 0, "YES", "NO") as reyo; SELECT vis 阅读全文

posted @ 2022-01-05 07:01 锐洋智能阅读(190) 评论(0) 推荐(0) 编辑

2022年1月4日

Database "C:/Users/com/test" not found, either pre-create it or allow remote database creation (not recommended in secure environments) [90149-200] 90149/90149 (帮助) 解决

摘要： win10 安装 H2 数据库目录 1、下载安装包 2、安装H2数据库 3、登录H2数据库 4、登录错误解决 5、数据导入导出 1、下载安装包 H2官网：http://h2database.com/html/main.html H2教程：https://www.ctolib.com/docs/sf 阅读全文

posted @ 2022-01-04 19:57 锐洋智能阅读(2938) 评论(0) 推荐(0) 编辑

2022年1月2日

mysql实现over partition by 的查询(分组排序求TOP)

摘要：需求是求以下表中每一种分类销量最多的三种商品：方法1： SELECT TBL.ID,TBL.PRODUCTNAME,TBL.TYPENAME,TBL.SALECOUNT FROM PRODUCT TBL LEFT JOIN PRODUCT L_TBL ON TBL.TYPENAME = L_TBL 阅读全文

posted @ 2022-01-02 11:29 锐洋智能阅读(218) 评论(0) 推荐(0) 编辑

mysql8.0 实现lag() over (partition by order by）

摘要：初始化sql数据 CREATE TABLE `t_student` ( `id` bigint NOT NULL, `name` varchar(100) COLLATE utf8mb4_general_ci DEFAULT NULL, `score` int DEFAULT NULL, `clas 阅读全文

posted @ 2022-01-02 10:29 锐洋智能阅读(984) 评论(0) 推荐(0) 编辑

2021年12月29日

java判断两线段是否相交

摘要：首先推荐java的Line2D类自带方法linesIntersect java.awt.geom.Line2D.linesIntersect(x1, y1, x2, y2, x3, y3, x4, y4); 自定义方法： /**两【线段】是否相交 * @param l1x1 线段1的x1 * @pa 阅读全文

posted @ 2021-12-29 21:04 锐洋智能阅读(1253) 评论(0) 推荐(1) 编辑

2021年12月28日

python连接h2数据库

摘要：首先到有h2的jar包的目录下,启动h2数据库 ,要允许tcp连接(win系统如下图) java -cp h2*.jar org.h2.tools.Server -tcpAllowOthers 然后python操作先安装pip install jaydebeapi 按照下面模板,干就完事了 imp 阅读全文

posted @ 2021-12-28 20:23 锐洋智能阅读(841) 评论(0) 推荐(0) 编辑

2021年12月27日

python获取Pandas列名的几种方法

摘要：获取DataFrame虽然是一个比较简单的操作，但是有时候到手边就是写不出来，所以在这里总结记录一下： 1.链表推倒式 1 2 3 4 5 6 data = pd.read_csv('data/Receipt code January minute trading volume.csv') prin 阅读全文

posted @ 2021-12-27 09:36 锐洋智能阅读(1227) 评论(0) 推荐(0) 编辑

2021年12月26日

Spring MVC 整合Velocity及用法说明

摘要： Velocity是一个基于java的模板引擎（template engine），它允许任何人仅仅简单的使用模板语言（template language）来引用由java代码定义的对象。配置：1.在pom.xml增加依赖的velocity包 <dependency> <groupId>velocity 阅读全文

posted @ 2021-12-26 18:33 锐洋智能阅读(239) 评论(0) 推荐(0) 编辑

Python dataframe修改列顺序

摘要：最简洁的方法 order = ['date', 'time', 'open', 'high', 'low', 'close', 'volumefrom', 'volumeto'] df = df[order] 比如说，这里，就可以之保证列的顺序是按照这样的排序的。总之，就是给一个list。阅读全文

posted @ 2021-12-26 17:17 锐洋智能阅读(459) 评论(0) 推荐(0) 编辑

Python：日期时间格式化（带毫秒）

摘要： import datetime print(datetime.datetime.now()) # 2019-01-28 11:09:01.529864 print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S.%f')) # 2019-01- 阅读全文

posted @ 2021-12-26 16:17 锐洋智能阅读(204) 评论(0) 推荐(0) 编辑

2021年12月24日

pandas groupby 取每组的前几行记录方法

摘要： #对于以下数据想对每个国家分组，并取age字段前2 #对于以下数据想对每个国家分组，并取age字段前2 df = pd.DataFrame({'Country':['China','China', 'India', 'India', 'America', 'Japan', 'China', 'Ind 阅读全文

posted @ 2021-12-24 22:22 锐洋智能阅读(346) 评论(0) 推荐(0) 编辑

pandas groupby 分组取每组的前几行记录

摘要：直接上例子。 import pandas as pd df = pd.DataFrame({'class':['a','a','b','b','a','a','b','c','c'],'score':[3,5,6,7,8,9,10,11,14]})df: class score0 a 31 a 52 阅读全文

posted @ 2021-12-24 22:19 锐洋智能阅读(267) 评论(0) 推荐(0) 编辑

pandas中dataframe类型选取前几行

摘要： data1.head(10) 阅读全文

posted @ 2021-12-24 22:09 锐洋智能阅读(1244) 评论(0) 推荐(0) 编辑

pandas中如何选取某几列

摘要：本文介绍在 pandas 中如何读取数据行列的方法。数据由行和列组成，在数据库中，一般行被称作记录 (record)，列被称作字段 (field)。回顾一下我们对记录和字段的获取方式：一般情况下，字段根据名称获取，记录根据筛选条件获取。比如获取 student_id 和 studnent_name 阅读全文

posted @ 2021-12-24 22:07 锐洋智能阅读(2792) 评论(0) 推荐(0) 编辑

python dataframe rename_详解pandas DataFrame修改行列名

摘要：在做WISE数据处理时，有时候需要将几组数据生成一个DataFrame，然而在生成的过程中我一般不会设置列的名字(因为这种过程可能会有很多步)，所以最后的列名是默认的。为了方便自己以后读代码，还是希望最后已处理好的数据有相应的数据相关列名。自己在网上也查了了一些人的解决办法，感觉没有一个能讲明白，现阅读全文

posted @ 2021-12-24 18:05 锐洋智能阅读(1456) 评论(0) 推荐(0) 编辑

java中计算两个日期之间天数

摘要： //用java编写出一个以下方法计算两个日期之间天数的程序设计。 import java.util.regex.Matcher; import java.util.regex.Pattern; public class Demo4 { public static void main(String[] 阅读全文

posted @ 2021-12-24 08:32 锐洋智能阅读(149) 评论(0) 推荐(0) 编辑

2021年12月23日

用 Python 实现股票指数移动平均线，计算篇(关于EMA5,EMA20,SMA5,SMA10等)

摘要：一：指数移动平均线的计算 EMA 通过加权乘数赋予最新价格更多权重。这个乘数应用于最后一个价格，因此它比其他数据点占移动平均线更大的部分。EMA 是通过采用最近的价格（我们将其称为“时间 t 的价格”) 减去前一个时间段（EMA_{t-1}）。此差异由您将 EMA 设置为 (N) 并加回到 E 阅读全文

posted @ 2021-12-23 18:59 锐洋智能阅读(2728) 评论(0) 推荐(0) 编辑

公告