深度学习|AI时代的操作系统从实践的土壤产出( 二 )



从产业中来 , 到生态中去 仅用短短数年时间打破现有格局 , 在中国市场超越谷歌、Meta这样的巨头 , 其原因仍基于最简单的商业道理——只要深度学习框架的市场需求仍未得到较好满足 , 技术上没做到收敛 , 那么新入局者、创新者就不会停止出现 。
在中国这个中小企业众多、AI落地应用场景复杂、各类新硬件层出不穷的产业环境 , 一款深度学习框架要想受到欢迎 , 需能沉入到企业基础设施底层与其做深度耦合 。 以芯片产业为例 , 如今AI芯片大火 , 国内不少科技公司和互联网公司纷纷自研AI芯片 , 正如上文所言 , 深度学习框架下接芯片上承应用 , 一款AI芯片要发挥其效力必须要同深度学习框架适配 。
过去该生态由深度学习框架Tensorflow、Pytorch和AI芯片提供商英伟达这一组合主宰市场 , 如今随着国内AI芯片的迅猛发展 , 各式各样的AI芯片出现在市场 , 但目前Tensorflow、Pytorch这两类深度学习框架与国内AI芯片的适配情况却不太乐观 。
首先 , 深度学习框架和AI芯片的适配是一个巨大的工程量 , 其需要海量算子和众多后端芯片的支持 , 一款AI芯片和某类深度学习框架的适配都需要双方花巨大的时间精力成本 , 即便是像英伟达这样的大厂也只是和市面上的三大主流框架Tensorflow、Pytorch、百度飞桨适配 , 但更多出货量有限、体量有限的中小硬件厂商只能选择其中的某一种 。
其次 , 当某一款AI芯片和主流深度学习框架形成适配 , 其实也意味着某一软硬件结合的生态已完成搭建 , AI 芯片厂商的生态壁垒也由此形成 , 如今国内许多专用芯片出现 , 其目标本来就是某些细分市场 , 对深度学习框架的要求更多是能与企业应用场景深度耦合 , 基于本土市场的深度学习框架自然在此更占优势 。
从芯片回到现在实际应用各深度学习框架的各企业上也同样如此 。 例如 , 某一企业在处理各项业务时 , 企业会根据其实际应用需求对深度学习框架中的代码做大规模的重写来匹配其业务 , 随着业务的继续发展变化 , 到后期最初的代码早已变得“面目全非” , 不复当初的模样 。
因而基于一线业务而来的飞桨能迅猛发展是有其根源的 , 百度飞桨早已不是Tensorflow以及PyTorch在中国的“平替款” 。 百度飞桨一方面 , 从实际产业需求出发 , 面向业务场景进行深入优化 , 并做通用化设计嵌入框架 , 经过大量业务场景的反复打磨 , 形成一套满足产业级业务需求的深度学习开源开放平台 , 例如百度飞桨已在国产芯片适配量方面做到了第一 。 另一方面 , 在已有业务实践的基础上 , 百度飞桨把核心能力开放出来 , 进一步服务于新的产业以及人工智能前沿领域的探索中 , 不断优化 , 推动人工智能整个行业的进步 。
市场需求没有被满足 , 技术创新者就会不断出现 , 从深度学习框架发展的历史脉络上看也同样如此 。 2015年由谷歌大脑团队开发的深度学习框架Tensorflow开源 , Tensorflow背靠技术研发实力极强的谷歌从一开始就吸引了大量学界人士关注 , 但随着谷歌推出TensorFlow Serving、TensorFlow Lite等产品向工业界上靠拢 , 其难用的静态图和多变的API , 直接导致了不少学界人士转而使用更适合科研的PyTorch , 基于能一步步看、一层层调试的动态图 , PyTorch在研究领域迅速站稳脚跟与工业界流行的Tensorflow瓜分深度学习框架市场 。
不管是Tensorflow还是Pytorch都没完全平衡好框架完备性、高效性、易用性的问题 , 那么出现新框架就是必然的 , 这对新入局者来说就是一个机会 。 对于百度飞桨而言 , 更好的深度学习框架意味着更低的门槛 , 以及更多的可能 , 结合中国中小企业多、AI人才不足的实际状况 , 百度飞桨摸索出了不同于谷歌、Facebook的第三条路 。

相关经验推荐