新闻资讯

了解化工最前沿信息,掌握行业发展动态

当前位置:网站首页 > 新闻资讯  > 

一流科技正式上线OneFlow v0.5版:四大特性实现轻快上手,高效、易用从此兼得

2022年05月07日
       9月27日, 在中关村论坛世界络绎不绝买卖大会上, 一流科技创始人CEO袁进辉宣告深度学习结构OneFlowv0.5.0正式上线GitHub, 他要点介绍了OneFlowv0.5.0的四大特性。本次产品升级也是OneFlow自2020年7月31日开源以来, 功用发布最重磅的版别。高效、易用、齐备是任一深度学习结构在未来竞赛中胜出的必经之路。在用三年时刻对最难的分布式核算和高效性问题进行攻关后, OneFlow开源以来, 已历经五次版别更迭, 要点从优化编译、API接口等层面攻关易用性务实, 一起继续优化分布式功用, 坚持业界领先地位。一方面, OneFlow结构一开始就瞄准最具应战的高效性, 占领络绎不绝制高点, 并以此成为安身业界的安身之本。另一方面, 跟着OneFlowv0.5.0的发布, OneFlow将带给开发者革命性的易用性务实, 一起, 也从大局视角打破了深度学习结构易用性和高效性不行兼得的枷锁, 向着全球范围内最好用深度学习结构的方针迈出了坚实的一大步。本次产品升级也当选了2021年度中关村论坛“百项新络绎不绝新产品榜单”。四个“一”完成极致易用性务实比较此前的版别, OneFlowv0.5.0在易用性上完成了四大络绎不绝特性。一行代码完成OneFlow与PyTorch切换凭仗易用性, PyTorch在深度学习结构商场异军突起, 其在单卡的eagermode, pythonic, 面向对象编程等运用规划上广受认可。新发布的OneFlowv0.5.0也接收了其规划主意, 使其在编程API层面和PyTorch记忆犹新对齐, 并对齐了相关模型的200多个算子。
       对喜爱运用PyTorch的eager形式的开发者来说, 只需更改一行代码, 就能够让PyTorch上写的代码在OneFlow中跑起来。一段代码完成动态图与静态图转化在编码调试阶段,

动态图的编程形式的务实最好, 但当模型安稳后, 静态图形式在运转注视方面更有优势。因而, 最理想的结构是一起支撑二者, 运用户在一个结构上享用到最佳的动、静态务实, 并且最好动、静态图能够自在转化。在OneFlowv0.5.0中, 开发者只需把运用动态形式开发的代码用nn.Graph封装起来, 就能够享用静态图的优点。当然, 要想完成彻底主动的动、静态转化,

还需求进一步攻关。一致性视角完成单机和分布式无缝切换跟着数据和模型的规划越来越大, 单卡和单机现已不能满意开发者的需求, 许多工业级的深度学习模型必须在分布式集群上练习。但是, 因为分布式编程的门槛太高, 且大部分算法科学家对分布式编程并不了解, 这给分布式练习带来必定应战。为了让开发者无须重视杂乱的分布式底层细节, 只专心于逻辑层面的神经网络建立, OneFlow创造性地发明晰一致性视角(ConsistentView)的概念, 把分布式的多卡模仿成一块超大的虚拟设备, 一致了单机和分布式的编程接口, 然后便利让算法工程师低成本运用分布式核算来加快。
       一套体系支撑各种并行形式不同神经网络的最优并行办法并不相同, 像CNN这类大数据、小模型的神经网络层次最好用数据并行, 对超大的全衔接层这种模型更大的层次最好用模型并行, 关于featuremap超大或许层次超深的神经网络更合适流水并行。但很不幸, 原有干流结构仅支撑常用的数据并行, 要想运用模型并行或许流水并行功用, 就必须凭借某种插件或许做深度定制, 并且这种定制体系都只能用于HugeCTR, Megatron-LM等某一种类型的神经网络。OneFlow在体系层面支撑了数据并行、模型并行和流水并行, 不需求额定的插件和定制开发, 就能够以最小代码量高效支撑任何神经网络。“人有我优, 人无我有”的高效性要知道, 原有深度学习结构都聚集于单卡的用户务实, 仅对合适数据并行的多机多卡场景处理的较好, 但遇到WideandDeep模型、GPT-3等超大模型, 开发者就会面对多机多卡编程难、注视低下或无法完成等分布式深度学习的痛点。虽然这些结构经过改善结构规划或研制NCCL、Horovod、HugeCTR等第三方插件的方法取得了一些前进, 但受限于结构自身架构规划的缺乏, 仍不能满意用户对极致功用的需求, 而OneFlow在这方面的优势能够归纳为“人有我优”和“人无我有”, 是一切结构中的最优处理计划。支撑OneFlow高效性的背面有四大关键络绎不绝, 其间静态调度和流式履行均为业界创始:编译器主动编列并行形式和流水线:编译器主动处理从逻辑使命到硬件资源的映射, 包含数据并行、模型并行、流水并行的设备分配以及数据路由计划,

大大下降分布式编程的杂乱度, 用户只须关怀使命的逻辑结构以及本次使命可运用的硬件资源,

而不用去编程完成数据在硬件资源中的活动机制。静态调度:把一切能在正式运转之前得到的调度战略、资源办理战略等问题都在编译阶段处理, 运转时不需求在线求解最优的调度计划, 然后大大下降运转时开支。
       为了让用户在运用高度动态模型时也有杰出的务实, OneFlow内部有动态两套履行机制。去中心化协议:在运转使命时,

不再需求中心调度器, 只需求支撑上下游使命之间部分的握手信号即可, 即出产者向顾客发送的恳求以及顾客向出产者发送的承认, 整个体系以全链路异步的方法运转。流式履行引擎:差异于其它深度学习结构把数据转移当成二等公民, OneFlow将数据转移看作一等公民。在静态剖析阶段, OneFlow就把磁盘IO、主存和设备之间数据转移, 节点间数据转移看作和核算平等重要的使命, 在价值剖析和调度战略里作为一等公民进行显式建模, 然后得到堆叠传输和核算的最优计划。深度学习结构的演进道路作为新生代深度学习结构, 虽然OneFlow在易用性和高效性上具有不俗实力, 但它要想在未来进一步扩展在开发者社区中的竞赛力, 还需求在算子、模型库等齐备性上补足功课, 而这需求更多社区开发者参加其间。未来, OneFlow深度学习结构将怎么展开?一流科技创始人袁进辉给出了他的判别:结构渠道标准化:深度学习算法的标准化, 带来了软件标准化的时机, 深度学习结构正在走向标准化。生态决议结构未来的竞赛力:之江实验室、北京智源人工智能研究院、粤港澳大湾区数字经济研究院、之江实验室、中关村智用人工智能研究院等顶尖AI科研院所已运用OneFlow结构展开研究工作。一起, 联合寒武纪、燧原科技、曙光DCU等芯片、云厂商上下游企业, 推进适配OneFlow结构的超大模型练习计划。下一步, 一流科技将推进与更多芯片厂商和广阔开发者的协作, 打造AI渠道的昌盛生态。软件2.0趋势:前特斯拉AI负责人AndrejKarpathy曾指出, 软件1.0的“经典仓库”是用Python、C++等言语编写的核算机显式指令, 与软件1.0不同, 软件2.0用深度学习模型从数据中主动推导生成软件的编程范式, 深度学习结构极有可能会朝这一方向跨进。像数据库产品那样供给标准化服务面向社区开发者, 一流科技在不断提高OneFlow结构用户务实;与此一起, 作为一个商业化公司, 依据OneFlow结构, 相应推出了标准化处理计划, 包含云边端AI基础设施OneBrain、OneAgent智能决议计划渠道和OneFlow智能云渠道。他们以为, AI产业化时机在于标准化的基础设施和云原生趋势。OneBrain开发渠道具有丰厚的开发形式, 支撑高功用分布式练习、多租户的资源调度和混合云的处理计划。经过私有化布置, 用户能够在OneBrain上能够完成多租户和多使命办理, 支撑可视化、日志剖析等功用, 依据用户的集成规划、节点、运用时长等计费。OneAgent智能决议计划渠道是一个依据深度强化学习的渠道, 它创造性地运用了微服务架构, 首要面向无人对战、途径规划、态势感知与智能博弈、金融量化买卖等深度强化学习的使用场景。此外, OneFlow智能云渠道作为面向广阔开发者的AI实训与开发渠道, 供给精品算法解说、开源算法实测、在线编程环境及算力。它能协助开发者快速把握深度学习开发的相关技术, 边学边连。未来, OneFlow智能云渠道还将面向中小企业用户供给PaaS和SaaS服务, 协助更多企业用AI赋能出产和办理。现在, 一流科技已服务十多家客户, 尤其是对功用、大规划分布式场景有火急需求的头部互联网公司、安防公司、政务云、科研院所等组织, 包括图画、自然言语处理、金融、广告/引荐等使用场景。
联系我们

福建省三明市梅列区徐碧街道耀江花园29号

18839193016

normanroof.com

关注我们:
关于我们
化工贸易
服务中心
加入我们
互动平台
扫描关注微信号
关注我们
扫描关注微信号
扫描浏览手机站
关注我们
扫描浏览手机站