免费发布

2022大规模预训练模型训练营

Sat, 10 Dec 2022 09:00:00 GMT+08 ~ Sun, 11 Dec 2022 17:00:00 GMT+08
Limited 50
北京智源人工智能研究院
Event Price
    Please select the order price

    第三方登录:

    Event DetailsHide...

    banner训练营.jpg

    近年来,大规模预训练模型(以下简称“大模型”)以强大的研究基础性、技术通用性、应用泛化性,得到产学研各方的高度关注。大模型是指在海量通用数据和任务上进行预先训练的具有大规模参数的人工智能模型。尽管当前大模型尚处于商业模式的探索期,其工程化、产品化进程受到多方因素制约,但作为智能底座带来的丰富功能和优越性能却吸引着头部企业、高校院所持续加注研发。


    01

    训练营介绍

    大模型训练营于12月10-11日召开,学员将获得大模型最新研究进展和应用开发等知识;智源研究院、智源大模型研究中心、业内前沿科研学者和相关行业大模型的专家联合授课,均有着丰富的产学研经验。该训练营面向广大的大模型爱好者和感兴趣的在校学生、老师和企业从事大模型相关工作的人也人员;课程内容有基础知识到前沿研究,再到应用实战,无论是计算机专业还是其他学课背景都可参与学习;线下教学,与老师面对面交流;配合实践项目,熟悉开发大模型应用的数据应用、实战等。


    02

    学习目标

    1. 理解大模型核心知识,打造理论基础

    2. 完成一个大模型应用案例,熟悉代码和探索应用场景

    3. 提高分析和解决大模型科研和应用问题的能力

    4. 结实优秀的同学,共同学习进步


    03

    亮点特色

    1. 覆盖大模型基础里理论和算法

    2. 配合实践项目,熟悉开发大模型应用的数据应用、实战等;

    3. 线下教学,与老师面对面交流;

    4. 动手实操,助教现场答疑;

    5. 提供算力支持,一张RTX 3090 GPU

    6. 对于按时完成听课和完成作业的学员将获得学员证书;优秀者将可优先加入青源研究组,获得与导师科研合作的机会;

    7. 参加黑客松并提交一个应用项目,全额退款


    04

    时间地点

    1. 训练营时间:2022年12月10日09:00-11日17:00

    2. 训练营地点:智源大厦一层报告厅(北京市海淀区成府路150号)


    05

    面向人群

    1. 面向广大的大模型爱好者和感兴趣的在校学生、老师和企业从事大模型相关工作的人员;

    2. 课程内容有基础知识到前沿研究,再到应用实战,无论是计算机专业还是其他学课背景都可参与学习;


    06

    课程安排


    12月10日



    09:30-11:40   Overview &PLMs 

    第一节:基础模型简介

    主要介绍基础模型的发展历史、基础模型的优越性以及基础模型引起的模型训练范式的变革等方面

    第二节:Transformer 及预训练语言模型

    介绍预训练语言模型为切入点,介绍经典的Transformer结构及注意力机制

    第三节:前沿自然语言模型

    介绍以GLM,OPT和T5为代表的语言基础模型,及多种自然语言领域的下游任务实现


    13:00-14:40   自然语言&视觉&多模态前沿模型

    第一节:前沿视觉及图文检索模型

    介绍计算机视觉以及多模态(图文)领域近期最前沿的模型

    第二节:前沿文生图模型

    介绍文生图领域各种最前沿的模型

    15:00-17:00   编程练习

    第一节:基础模型实战

    快速上手实战,体验基础模型强大的能力


    12月11日


    09:30-11:40   BMSystem

    第一节:大模型高效训练

    介绍面向大模型的低资源高效训练工具 BMTrain

    第二节:大模型高效压缩

    介绍面向大模型的压缩技术以及压缩开源工具BMCook

    第三节:大模型高效推理

    介绍面向低资源环境的大模型推理工具包BMInf

    13:00-14:40   Prompt Learning & Delta Learning

    第一节:高效微调技术

    介绍面向大模型高效微调技术,包括Prompt Learning和Delta Tuning

    第二节:高效微调工具

    介绍面向大模型的高效微调工具,包括OpenPrompt和OpenDelta

    15:30-17:00   编程练习

    第一节:CPM-Live练习

    使用大模型进行delta tuning并推理测试


    07

    报名须知

    1. 报名费为 499元,但食宿交通费用自理。

    2. 50位线下名额,根据交费先后顺序,采取优先的原则录取,额满为止。

    3. 疫情期间,主办方有权根据政府疫情防控政策随时调整举办形式。

    4. 报名请预留不会拦截外部邮件的邮箱,如163、QQ邮箱。

    5. 训练营支持开具发票,类型有会议费、培训费,购票后工作人员会在会议开始后收集开票信息;

    6. 报名的朋友们如果提供的email和手机号码无误,我们会在活动开始前一天发送短信和邮件确认。所以请确认自己填写的email地址无误。如果未收到确认函,可致咨询邮箱:editor@baai.ac.cn

    7. 本活动欢迎大家推荐给自己的同事和朋友一起参加,不过为了确保良好的听课环境,请来线上前务必完成报名,不接受现场报名。


    08

    线上报名

    训练营-线上报名-社区.png

    09

    微信咨询群

    2022大模型创新论坛-企业微信社群.png


    10

    关于主办方

    北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,简称BAAI)成立于2018年11月14日,是在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立的新型研发机构。

    智源研究院的愿景是,聚焦原始创新和核心技术,建立自由探索与目标导向相结合的科研体制。支持科学家勇闯人工智能科技前沿“无人区”,挑战最基础的问题和最关键的难题,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。营造全球最佳的学术和技术创新生态,推动北京成为全球人工智能学术思想、基础理论、顶尖人才、企业创新和发展政策的源头,率先成为国际领先的人工智能创新中心。推动人工智能产业发展和深度应用,改变人类社会生活,促进人类、环境和智能的可持续发展。


    11

    训练营合作方介绍

    面壁智能(ModelBest,北京面壁智能科技有限责任公司)是一家人工智能大模型加速与应用落地赋能公司。公司依托开源社区打造大规模预训练模型库与相关工具,加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,并进一步推动大模型在人工智能典型场景与领域的应用与落地。公司创始团队来自于清华大学计算机系自然语言处理与社会人文计算实验室,并由知名清华大学教授担任首席科学家。公司目前已完成百万级天使轮融资,并与知名机构与公司达成战略合作。

    北京并行科技股份有限公司(简称并行科技,PARATERA,股票代码:839493,挂牌新三板)成立于2007年,是国内领先的超算云服务和运营服务提供商,提供超算云、超算行业云、智算云、设计仿真云和计算资源建设及运营服务。 

    作为中国国家网格服务公司和国内高新技术企业、双软企业,并行科技聚合全国各大超算中心计算资源,面向能源、航空航天、制造、气象、科研教育、电信、金融、动漫等企事业单位和科研院所提供超算云服务。并先后服务与支持“嫦娥三号”、“嫦娥四号”、“嫦娥五号”系列中国探月工程及“天问一号”中国首次火星探测任务。 

    目前,并行科技注册资本4673万元,属新三板创新层挂牌公司,已完成四轮数亿元融资。旗下拥有4个研发中心、110项软件著作权、18项国家专利、63个注册商标,在北京、天津、广州、长沙、宁夏等5地 设有全资子公司,在上海、南京、厦门、西安、武汉等城市 设立20余个办事处和服务站。为20+行业,超过200,000名用户 提供超算云服务及场景应用方案,服务能力覆盖全国。 



    Event Tags

    Perhaps you'd be interested in

    Question

    All Questions

    Haven't posted any questions yet, grab a sofa!

    OrganizersMore

    北京智源人工智能研究院

    北京智源人工智能研究院

    北京智源人工智能研究院(Beijing Academy of Artificial Intelligence,BAAI)是在科技部和北京市委市政府的指导和支持下,由北京市科委和海淀区政府推动成立,依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等北京人工智能领域优势单位共建的新型研究机构。

    WeChat Scan

    Share to WeChat→

    Event Calendar   Feb
    M T W Th F Sat Sun
    30 31 1 2 3 4 5
    6 7 8 9 10 11 12
    13 14 15 16 17 18 19
    20 21 22 23 24 25 26
    27 28 1 2 3 4 5