Skip to content

智能体

1. 智能体介绍

智能体是一种具备感知、决策和行动能力的软件实体,能依据环境变化自主做出反应和决策。在RPA中,浏览器智能体旨在通过自然语言交互实现浏览器自动化操作,核心思想是让用户能够用人类自然语言描述任务目标,而无需编写复杂的工作流,机器去自行生成相应工作流。

使用RPA的浏览器智能体功能,可以通过简短的自然语言来描述需要做的事情,从而让智能体自动生成对应的工作流,点击运行,即可让RPA按顺序自动执行所描述的任务(如登录网页、点击菜单、下载账单等),让非开发人员也能够轻松生成工作流。

浏览器智能体可以用于各种常见的在浏览器上进行操作的任务,如登录某网站、输入特定内容执行搜索、爬取网站信息、进行账单下载等操作。

2. 使用方法

2.1 打开智能体

(1)打开RPA客户端后在首页上方点击红框部分智能体点击进入智能体页面。

img_1.png

2.2 进入智能体对话页面

点击新建对话,在打开的对话框中,输入自己的需求(建议分多步完成,开始只输入第一步)然后点击按钮或按下回车让智能体生成相应工作流。

img_1.png

在打开的页面中,智能体会根据需求生成对应的步骤,右上角依次有三个按键,分别是“保存”、“参数设置”和“运行”。

img_3.png

2.3 保存智能体与工作流调用智能体

当点击“保存”以后,我们可以在工作流中使用“执行智能体流程”组件来调用刚刚生成的步骤。

在左侧的选项卡中点击“智能体”,可以找到我们刚刚保存的智能体,它们会按照对话的组别被分类好,确认无误后可以在工作流中调用。

img_3.png

在工作流开发页面,搜索“智能体”,可以找到“执行智能体流程”组件,打开该组件后选择对应智能体工作流路径(就是刚刚在智能体页面保存的路径),并输入对应参数(在本流程中为账号密码和网址)后即可执行该智能体流程。

img_3.png

img_3.png

2.4 参数设置

我们也可以点击中间的“参数设置”来对智能体流程的参数进行修改,在刚刚的样例中,我们可以对打开浏览器的链接、登录的用户名和密码进行修改。

img_3.png

我们也可以点击右键点击具体运行步骤中的单个步骤,针对单个步骤进行参数设置。

img_3.png

若对智能体生成的提示词不满意,(测试后未达到效果)我们也可以自己编辑提示词,再重新运行测试,用括起来的则是智能体流程的变量,例如这里的变量就是链接,变量也可以编辑,此外,我们也可以删除不需要的步骤。

img_3.png

2.5 运行

参数确认完毕以后,我们可以点击右上角的“运行”按钮,对本次回答中生成的步骤进行运行,运行成功以后,对应的步骤都会被打钩。

img_3.png

运行成功以后,我们可以继续输入下一步的需求描述,在本示例中,我们下一步需要输入验证码,输入相应提示词后,生成了对应工作流。最后点击全部运行,可以依次执行本轮对话中生成所有的工作流,对于本示例来说,就是先打开了链接,并输入了用户名和密码,最后输入了验证码。

img_3.png

3. 完整示例

需求:RPA需要自动打开链接 https://rpaservice-test.chinaums.com/rpa-console/login.html, 并输入用户名、密码,登录页面。并依次点击应用管理-日志菜单,在搜索框中输入“新建应用”,然后下载特定日期的日志。 一个完整的提示词范例如下,一共分为12步,在具体执行时由于步骤过长,最好分为多步输入:

  1. 打开链接:https://rpaservice-test.chinaums.com/rpa-console/login.html
  2. 输入用户名:xxx,密码:xxx不要点击登录按钮,直接结束
  3. 使用识别验证码方法识别页面中的图片验证码,并将识别结果输入到验证码输入框中
  4. 点击登录按钮
  5. 进入到RPA管理控制平台首页则结束
  6. 判断是否存在修改密码弹窗,如果存在则点击弹窗中的取消按钮,否则什么都不做
  7. 点击应用管理菜单
  8. 等待菜单展开
  9. 点击任务日志菜单
  10. 任务名输入框输入:新建应用,项目名称输入框输入:新建应用
  11. 点击执行日期右侧第一个输入框,在弹出的日历组件中选择日期:2025年4月22日 ##注意,操作日历组件时,先点击年份,等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期
  12. 点击执行日期右侧第二个输入框,在弹出的日历组件中选择日期:2025年5月11日 ##注意,操作日历组件时,先点击年份, 等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期 12.使用下载文件方法,元素为导出按钮,保存到目录:C:\测试目录,注意不要使用点击方法。

具体执行时,由于步骤过长,最好分为多步输入,并逐步验证,及时修改存在问题的地方,如下图所示。全部确认无误后,可点击全部运行,此时就可以一次性运行完整的流程。

img_3.png

4. 使用技巧

4.1 提示词技巧

提示词应尽可能提供详细的描述,必要时,可以用所在区域来表明位置,如果想避免智能体做某些操作,也可以写出不希望智能体做的事。

错误示例: 点击下载按钮下载。

正确示例: 点击“下载数据”按钮下载数据,“下载数据”按钮位于“导出”按钮的右侧,将文件保存至目录“C:\下载目录”,注意使用下载文件方法,不要使用点击方法。

img_3.png

错误示例: 选中足球公园。

正确示例: 点击下拉框"全部交易场馆",等待2秒钟,并在接下来的选项中选中"足球公园"

img_3.png

由于AI大模型的上下文容量有限,一次提问输出内容不要过长,若任务步骤较复杂,可以分多次问答,避免卡住。若单步执行内容较少,也可将多个步骤合并一次输入,并注明输入顺序。

5. 提示词编写样例

5.1 验证码识别

例如,需要识别图中的简单图文验证码时,可输入:“使用识别验证码方法识别页面中的图片验证码,并将识别结果输入到验证码输入框中。

img_3.png

5.2 点击菜单及下级菜单

2.在图例中,可输入“点击财务菜单,等待菜单展开后,点击销售明细菜单”。

img_3.png

5.3 点击元素

点击元素:输入“点击XXX”即可,若元素存在明确属性为按钮或者输入框等,输入“点击XXX按钮”或“点击XXX输入框”,也可以通过该元素旁边的其他元素辅助定位。 例如,在图示中,若想点击红框设置,输入“点击设置按钮,设置按钮位于导出按钮左侧”。

img_3.png

5.4 切换页面

对于图例,若想切换到首页,可输入“切换到名称为‘首页’的页面”。

img_3.png

5.5 点击日期控件,并输入日期

以如图日期控件为例,要选中执行日期右侧第一个日期输入框时可输入:“点击执行日期右侧第一个输入框,在弹出的日历组件中选择日期:XXXX年X月X日,## 注意,操作日历组件时,先点击年份,等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期”。

img_3.png

5.6 下载文件

对于图例,想要通过下载数据按钮,下载当期对应账单,可以输入:“使用下载文件方法,元素为下载数据按钮,保存到目录:“D:\账单保存目录”,注意不要使用点击方法”,输入时,需要强调不要使用点击方法,使用下载文件方法。

img_3.png