1.命题方向
智能计算
2.题目类别
应用类
3.题目名称
基于文心大模型的智能阅卷平台设计与开发
4.背景说明
【整体背景】
在当前大语言模型(LLM)快速发展的技术背景下,教育领域正在经历着重大的变革。在试卷评阅场景中,教师对自动化和智能化的评阅需求逐渐凸显。因此,设计一个自动评阅平台,结合计算机视觉的图像分析和大语言模型的语义理解与生成能力,有望提高试卷评阅的效率、准确性和评阅维度丰富性。
【公司背景】
百度是拥有强大互联网基础的领先AI公司,是全球为数不多的提供AI芯片、软件架构和应用程序等全栈AI技术的公司之一,被国际机构评为全球四大AI公司之一。百度以“用科技让复杂的世界更简单”为使命,坚持技术创新,致力于“成为最懂用户,并能帮助人们成长的全球顶级高科技公司”。百度以技术创新为信仰,在创新投入、研发布局、人才引进方面均走在国际前列。2020年,百度核心研发费用占收入比例达21.4%,研发投入强度位于中国大型科技互联网公司前列。百度全球AI专利申请量已超过1万件,其中中国专利9000多件,位列中国第一,并在深度学习技术、智能语音、自然语言处理、自动驾驶、知识图谱、智能推荐等多个领域排名国内第一。
【业务背景】
百度在3月16日发布了知识增强大语言模型文心一言,文心一言(英文名:ERNIE Bot)是百度全新一代知识增强大语言模型,文心大模型家族的新成员,能够与人对话互动,回答问题,协助创作,高效便捷地帮助人们获取信息、知识和灵感。
文心一言从数万亿数据和数千亿知识中融合学习,得到预训练大模型,在此基础上采用有监督精调、人类反馈强化学习、提示等技术,具备知识增强、检索增强和对话增强的技术优势。
面向教育领域, 选手应能够基于文心一言的模型能力,发挥其在内容理解和生成方面的能力优势,打造出面向评阅者的交互式、智能化和个性化的智能阅卷平台。
5.项目说明
【问题说明】
(1)评阅效率与成本问题:传统评阅面临评阅速度较慢、人力需求大的问题,特别是在大量试卷需要评阅时,评阅及反馈时效性能否被满足,将是一个巨大的挑战;
(2)有阅无评问题:在实际评阅场景中。往往需要更具有针对性和个性化的评价和建议,而不仅仅是分数反馈。在这过程中,评阅者需要将关键概念,结合学生自身特点进行充分关联,提供更贴近学生需求的知识延展和学科建议;
(3)学情信息跟踪实际问题:评阅者在实际操作中难以全面、数字化地记录学生的评价和进步情况,进而影响评估的针对性和指导性作用;
(4)实际评阅风格的单一问题:在实际评阅过程中,评语描述表达方式相对统一,难以通过多样化的评语风格来更好地引导学生理解知识点和提高学业水平;
(5)学科限制与切换问题:由于不同学科具有独特的评价标准和要求,传统评阅工具难以在不同学科间切换,需要更多的学科专业性和差异化的评阅方式。
【用户期望】
选手可以充分调研该方向下,不同用户画像下的具体需求,如面向家长、教师用户和校园管理者等角色,从用户及其使用场景与目标出发,驱动产品的设计定义。
6.任务要求
【开发说明】
本命题产品要求选手深入理解评阅场景与需求,深度发挥大语言模型和深度学习的技术优势,打造可以云端或本地部署的软件平台。
【技术要求与指标】
(1)OCR技术的使用要求
①准确性要求:要求集成高准确率的OCR(Optical Character Recognition)技术,确保对学生手写或打印的文字进行准确、快速的识别,以提高评阅的效率和准确性,准确性在百度提供的数据集(后续提供)上,达到较为可观的准确率。
②多格式支持:要求能够对汉字、英文、数学公式、表格等尽可能丰富的字符类型进行识别。
③速度要求:要求部署后的模型识别速度尽可能高速。
④深度学习框架要求:要求基于PaddleOCR完成模型建设与部署。
(2)大模型技术的使用要求:要求通过飞桨星河社区ERNIE Bot SDK进行文心大模型的调用(每位选手赠送100万Token的免费额度)。
(3)评阅结果可视化与数据管理要求:可选择在图片本身进行相关评阅结果的标注,也可以在附属界面进行显示。
(4)外部数据的融合要求:除了利用大模型本身的知识,还可以充分利用外部学科相关数据,例如学科标准、题型模板等,以提高评阅的专业性和准确性。
【提交材料】
(1)项目概要介绍;
(2)项目简介PPT;
(3)项目详细方案;
(4)项目演示视频;
(5)企业要求提交的材料:
①产品使用手册:包括产品功能架构、使用流程图和典型学习示例;
②产品交互演示:对产品的交互过程进行录制;
③项目的详细分工及过程文档:对团队成员的角色、分工、排期和过程进行记录;
(6)团队自愿提交的其他补充材料。
【任务清单】
包括但不限于以下功能:
(1)试卷图像快速采集与存储;
(2)字符识别与提取;
(3)内容理解与评阅内容生成;
(4)评阅内容的二次编辑;
(5)评阅结果的可视化、整理与导出;
(6)学情数据可视化;
(7)跨平台支持;
(8)实时采集与分析(可选);
(9)其它拓展功能和创新方向,如软硬一体解决方案。
【开发工具与数据接口】
(1)大模型能力调用指定平台:飞桨星河社区ERNIE Bot SDK。
(2)OCR工具:PaddleOCR
7. 其他
飞桨星河社区ERNIE Bot SDK令牌获取地址:https://aistudio.baidu.com/index/accessToken 每位选手赠送100万Token的免费额度。
8. 参考信息
ERNIE Bot SDKhttps://aistudio.baidu.com/projectdetail/6779542
9. 评分要点
赛题评分要点见附件一:A 类企业命题初赛统一评分标准。