Appearance
智能体
1. 智能体介绍
智能体是一种具备感知、决策和行动能力的软件实体,能依据环境变化自主做出反应和决策。在RPA中,浏览器智能体旨在通过自然语言交互实现浏览器自动化操作,核心思想是让用户能够用人类自然语言描述任务目标,而无需编写复杂的工作流,机器去自行生成相应工作流。
使用RPA的浏览器智能体功能,可以通过简短的自然语言来描述需要做的事情,从而让智能体自动生成对应的工作流,点击运行,即可让RPA按顺序自动执行所描述的任务(如登录网页、点击菜单、下载账单等),让非开发人员也能够轻松生成工作流。
浏览器智能体可以用于各种常见的在浏览器上进行操作的任务,如登录某网站、输入特定内容执行搜索、爬取网站信息、进行账单下载等操作。
2. 使用方法
2.1 打开智能体
(1)打开RPA客户端后在首页上方点击红框部分智能体点击进入智能体页面。
2.2 进入智能体对话页面
点击新建对话,在打开的对话框中,输入自己的需求(建议分多步完成,开始只输入第一步)然后点击按钮或按下回车让智能体生成相应工作流。
在打开的页面中,智能体会根据需求生成对应的步骤,右上角依次有三个按键,分别是“保存”、“参数设置”和“运行”。
2.3 保存智能体与工作流调用智能体
当点击“保存”以后,我们可以在工作流中使用“执行智能体流程”组件来调用刚刚生成的步骤。
在左侧的选项卡中点击“智能体”,可以找到我们刚刚保存的智能体,它们会按照对话的组别被分类好,确认无误后可以在工作流中调用。
在工作流开发页面,搜索“智能体”,可以找到“执行智能体流程”组件,打开该组件后选择对应智能体工作流路径(就是刚刚在智能体页面保存的路径),并输入对应参数(在本流程中为账号密码和网址)后即可执行该智能体流程。
2.4 参数设置
我们也可以点击中间的“参数设置”来对智能体流程的参数进行修改,在刚刚的样例中,我们可以对打开浏览器的链接、登录的用户名和密码进行修改。
我们也可以点击右键点击具体运行步骤中的单个步骤,针对单个步骤进行参数设置。
若对智能体生成的提示词不满意,(测试后未达到效果)我们也可以自己编辑提示词,再重新运行测试,用括起来的则是智能体流程的变量,例如这里的变量就是链接,变量也可以编辑,此外,我们也可以删除不需要的步骤。
2.5 运行
参数确认完毕以后,我们可以点击右上角的“运行”按钮,对本次回答中生成的步骤进行运行,运行成功以后,对应的步骤都会被打钩。
运行成功以后,我们可以继续输入下一步的需求描述,在本示例中,我们下一步需要输入验证码,输入相应提示词后,生成了对应工作流。最后点击全部运行,可以依次执行本轮对话中生成所有的工作流,对于本示例来说,就是先打开了链接,并输入了用户名和密码,最后输入了验证码。
3. 完整示例
需求:RPA需要自动打开链接 https://rpaservice-test.chinaums.com/rpa-console/login.html, 并输入用户名、密码,登录页面。并依次点击应用管理-日志菜单,在搜索框中输入“新建应用”,然后下载特定日期的日志。 一个完整的提示词范例如下,一共分为12步,在具体执行时由于步骤过长,最好分为多步输入:
- 打开链接:https://rpaservice-test.chinaums.com/rpa-console/login.html
- 输入用户名:xxx,密码:xxx不要点击登录按钮,直接结束
- 使用识别验证码方法识别页面中的图片验证码,并将识别结果输入到验证码输入框中
- 点击登录按钮
- 进入到RPA管理控制平台首页则结束
- 判断是否存在修改密码弹窗,如果存在则点击弹窗中的取消按钮,否则什么都不做
- 点击应用管理菜单
- 等待菜单展开
- 点击任务日志菜单
- 任务名输入框输入:新建应用,项目名称输入框输入:新建应用
- 点击执行日期右侧第一个输入框,在弹出的日历组件中选择日期:2025年4月22日 ##注意,操作日历组件时,先点击年份,等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期
- 点击执行日期右侧第二个输入框,在弹出的日历组件中选择日期:2025年5月11日 ##注意,操作日历组件时,先点击年份, 等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期 12.使用下载文件方法,元素为导出按钮,保存到目录:C:\测试目录,注意不要使用点击方法。
具体执行时,由于步骤过长,最好分为多步输入,并逐步验证,及时修改存在问题的地方,如下图所示。全部确认无误后,可点击全部运行,此时就可以一次性运行完整的流程。
4. 使用技巧
4.1 提示词技巧
提示词应尽可能提供详细的描述,必要时,可以用所在区域来表明位置,如果想避免智能体做某些操作,也可以写出不希望智能体做的事。
错误示例: 点击下载按钮下载。
正确示例: 点击“下载数据”按钮下载数据,“下载数据”按钮位于“导出”按钮的右侧,将文件保存至目录“C:\下载目录”,注意使用下载文件方法,不要使用点击方法。
错误示例: 选中足球公园。
正确示例: 点击下拉框"全部交易场馆",等待2秒钟,并在接下来的选项中选中"足球公园"
由于AI大模型的上下文容量有限,一次提问输出内容不要过长,若任务步骤较复杂,可以分多次问答,避免卡住。若单步执行内容较少,也可将多个步骤合并一次输入,并注明输入顺序。
5. 提示词编写样例
5.1 验证码识别
例如,需要识别图中的简单图文验证码时,可输入:“使用识别验证码方法识别页面中的图片验证码,并将识别结果输入到验证码输入框中。
5.2 点击菜单及下级菜单
2.在图例中,可输入“点击财务菜单,等待菜单展开后,点击销售明细菜单”。
5.3 点击元素
点击元素:输入“点击XXX”即可,若元素存在明确属性为按钮或者输入框等,输入“点击XXX按钮”或“点击XXX输入框”,也可以通过该元素旁边的其他元素辅助定位。 例如,在图示中,若想点击红框设置,输入“点击设置按钮,设置按钮位于导出按钮左侧”。
5.4 切换页面
对于图例,若想切换到首页,可输入“切换到名称为‘首页’的页面”。
5.5 点击日期控件,并输入日期
以如图日期控件为例,要选中执行日期右侧第一个日期输入框时可输入:“点击执行日期右侧第一个输入框,在弹出的日历组件中选择日期:XXXX年X月X日,## 注意,操作日历组件时,先点击年份,等待年份列表展示,然后选择对应的年份,然后点击月份, 等待月份列表展示,然后选择对应的月份,最后选择对应的日期”。
5.6 下载文件
对于图例,想要通过下载数据按钮,下载当期对应账单,可以输入:“使用下载文件方法,元素为下载数据按钮,保存到目录:“D:\账单保存目录”,注意不要使用点击方法”,输入时,需要强调不要使用点击方法,使用下载文件方法。