最近碰到一个需求,需要自动化操作一个网站,第一步就遇到一个问题,滑块验证码登录。

核心逻辑是:

1. 获取两张图片,一张左侧的验证码图片,一张完整的图片
2. 比对两张图片,获取到验证码图片与完整图片重合区域在 X 轴上需要移动的举例
3. 通过 selenium 缓慢移动验证码图片到重合区域,完成登录

在网上找到一个类似的需求和实现方案,跟着写了下代码 https://blog.csdn.net/weixin_53300120/article/details/138068169

写了两个实现的方式:

  1. 采用 ddddocr:

     with open('left.png', 'rb') as f:
    
     target_bytes = f.read()
    
     with open('full.png', 'rb') as f:
         background_bytes = f.read()
    
     ocr = ddddocr.DdddOcr(det=False, ocr=False, show_ad=False)
    
     res = ocr.slide_match(target_bytes, background_bytes, simple_target=True)
    
     print(res, res['target'][0])
    
  2. 采用 cv2:

     # 加载图片 A 和 B
     image_a = cv2.imread('left.png', cv2.IMREAD_GRAYSCALE)
     image_b = cv2.imread('full.png', cv2.IMREAD_GRAYSCALE)
    
     # 使用模板匹配方法( Template Matching )寻找图片 A 在 B 中的位置
     result = cv2.matchTemplate(image_b, image_a, cv2.TM_CCOEFF_NORMED)
    
     # 获取最大匹配值及其位置
     min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)
    
     # 如果 TM_CCOEFF_NORMED 方法使用,可以通过以下方式找到匹配位置的左上角坐标
     top_left = max_loc
    
     # 获取图片 A 的宽度和高度
     height, width = image_a.shape
     print(height, ':', width)
     height2, width2 = image_b.shape
     print(height2, ':', width2)
    
     # 获取最左侧的 x 坐标(左上角)
     leftmost_x = max_loc[0]
     print('leftmost_x:', leftmost_x)
    

现在的问题是,这两种方法的准确度都不高,而且我也不了解他们内部的实现方式,不知道如何提高识别的准确度。 现在用了一个比较笨的方法,死循环,重复 10 次以内大概率是可以成功一次。

想请教大家,这种场景有没有啥好的办法可以提高识别的准确度,或者有没有相关的开源库可以直接用?

感谢!

最新回复 (5)
  • deepall5月前
    引用2
    不知道你的 left.png 和 full.png 是啥样,我用 ddddocr 和 cv2 识别验证码的准确率很高
  • aizya楼主5月前
    引用3
    @deepall 图片会动态变化,大概是这样的:

    full png:

    如何提高滑块验证码的识别精度?

    left png:

    如何提高滑块验证码的识别精度?
  • deepall5月前
    引用4
    这个 ddddocr 感觉不太行,试试这个
    def generate_distance(slice_url, bg_url):
    """
    :param bg_url: 背景图地址
    :param slice_url: 滑块图地址
    :return: distance
    :rtype: Integer
    """
    slice_image = np.asarray(bytearray(requests.get(slice_url).content), dtype=np.uint8)
    slice_image = cv2.imdecode(slice_image, 1)
    slice_image = cv2.Canny(slice_image, 255, 255)

    bg_image = np.asarray(bytearray(requests.get(bg_url).content), dtype=np.uint8)
    bg_image = cv2.imdecode(bg_image, 1)
    bg_image = cv2.pyrMeanShiftFiltering(bg_image, 5, 50)
    bg_image = cv2.Canny(bg_image, 255, 255)

    result = cv2.matchTemplate(bg_image, slice_image, cv2.TM_CCOEFF_NORMED)

    min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result)

    return max_loc[0]
  • aizya楼主5月前
    引用5
    @deepall #3 一样的,也需要多次才能成功。
  • naythefirst015月前
    引用6
    这样的直接模板匹配就可以了 准确率很低是不是图片获取的有问题 比如没有下载原始图或者没有处理缩放之类的
  • 回复请 登录 or 快速注册
返回