Skip to content

元素库

1.元素库介绍

元素库用于捕获、存放和展示网页或操作系统窗口元素,元素库中存放网页元素客户端元素,可分别通过【浏览器】和【桌面软件自动化】指令集对对应的元素进行操作,后续供其他指令反复使用。

img.png

TIP

注意 : 桌面软件自动化指令只能选择”桌面元素“,浏览器相关指令只能选择”网页元素“ ,区分如下图。

img_9.png

2.元素库使用

新增元素

点击右下角 ”捕获元素“ -- ”标准模式捕获“ 、”深度模式捕获“和”AI模式捕获“

  1. 标准模式捕获

点击 ”标准模式捕获“ ,然后将鼠标移动到目标元素上,当目标元素标记为红色时代表已经检测到元素。标准模式捕获默认为客户端元素识别,如需要Xpath模式识别浏览器网页元素参考后面 浏览器元素捕获步骤img_5.png

按下键盘Ctrl+鼠标左键 或 按下键盘 Ctrl+Shift 确定捕获元素。

img_6.png

录入元素名称,点击保存。

img_7.png

元素使用(如:选择桌面软件自动化-元素操作-点击元素指令,选择已经捕获的桌面元素)

img_8.png

  1. 深度模式捕获

_当标准模式无法精确捕获到软件上的元素时,可以使用深度捕获模式。_深度模式捕获只支持客户端元素,不支持浏览器元素

点击 ”深度模式捕获“,弹出深度捕获窗口,选择捕获软件的元素,点击”高亮”检测到元素会标记红色。

img_4.png

img_6.png

img_5.png

  1. AI模式捕获

AI模式捕获采用人工智能的技术对图片进行分析,能够识别图片中的文本及图标内容,主要用来处理一些无法拾取的客户端元素。需要配合组件:桌面软件自动化-图片操作-点击AI元素进行使用。 使用方式: 点击AI模式捕获,RPA客户端的界面会最小化,左上角的状态窗口会显示状态,当显示识别成功后,就可以移动鼠标进行拾取,移动鼠标,会有红框提示当前元素,按住ctrl键同时点击鼠标左键(或者同时按住Ctrl+Shift键)即可拾取,会弹出元素属性框,可以修改元素名称,或者点击校验元素来校验元素选择器是否正确,当确认无误后就可以点击保存,该元素就会保存到元素库。

点击“查看节点并编辑”

img_7.png

输入元素名称并保存

img_8.png

修改或删除元素

选中需要选择目标元素,点击鼠标右键完成修改或删除。

img_3.png

3.组件使用元素库示例

示例为 “桌面软件自动化” -- “元素操作” -- “点击元素” 指令操作元素库中的元素。

img_1.png

4. 开启java桌面程序元素拾取

打开任务管理器,找到对应的Java程序,点击右键,在右键菜单中点击打开文件所在的位置,可以进入到对应JDK的目录下面

img.png

在CMD命令行中输入java -version指令,查看Java的版本和位数

img_1.png

找到%JAVA_JRE%\bin中的WindowsAccessBridge-32.dll或WindowsAccessBridge-64.dll文件,拷贝到指定的目标目录。

img_2.png

找到%JAVA_JRE%\lib中的accessibility.properties,用记事本打开。将 #assistive_technologies=com.sun.java.accessibility.AccessBridge

#screen_magnifier_present=true

改为(即去掉#注释)

assistive_technologies=com.sun.java.accessibility.AccessBridge

screen_magnifier_present=true

在CMD命令行中输入java -enable指令,开启JAB功能,然后重启java客户端和RPA程序

img_3.png

5. 浏览器元素捕获步骤

5.1. 通过RPA模式打开浏览器页面(如果浏览器是通过连接方式打开,请参考”6. 通过连接浏览器捕获配置“)

img.png

5.2. 点击标准捕获模式

img_1.png

5.3. 元素识别成功(鼠标移动到对应元素上面,识别成功会提示红色框框)

img_2.png

5.4. 通过下面快捷键确定识别

img_3.png

5.5. 捕获元素库中的元素标识有浏览器图标为成功。

img_4.png

可以查看输入框中自动采集的XPath表达式,通过“校验元素” 查看xpath是否正确,如果正常捕获,对应的元素会标红。

TIP

描述 :也可以自己输入对应XPath表达式,自定义XPath语法可以参考教程: https://www.w3school.com.cn/xpath/xpath_syntax.asp

6. 通过连接浏览器捕获配置

6.1 打开连接浏览器组件,配置端口和缓存文件位置

img.png

6.2 打开扩展程序设置

img_2.png

6.3 打开”开发者模式“ - ”加载未打包的扩展程序“

img_3.png

选择RPA客户端安装目录的扩展包,如: D:\*******\ums-rpa\resources\resources\browser-extension\chrome

6.4 扩展包安装成功,如下图

img_1.png

TIP

描述 :接下来网页元素捕获流程同上了。