6月6日,快手宣布在内蒙古乌兰察布市投资百亿自建数据中心,这是快手首个自建的数据中心,面向快手未来五年内的大数据与人工智能场景,设计容量为30万台服务器,将拥有最大规模的离线计算服务器集群,是业界最大的专用于大数据/AI的数据中心。乌兰察布是内蒙古距离北京最近的地方,从北京驾车一路向西北,出了张家口就是内蒙古乌兰察布。得天独厚的地缘位置,便捷的高速与高铁网络,凉爽舒适的气候,资源丰富的电力、便捷的光缆通道、全国最优惠的电价,再加上当地政府前瞻的草原云谷战略规划,使得乌兰察布成为我国重要的数据中心聚集地。在快手前,华为、阿里和苹果等公司的11个数据中心项目已在乌兰察布落地,总投资规模达到357亿元,服务器规模150万台,南贵(阳)北乌(兰察布)的数据中心格局已经形成。快手百亿投资数据中心,将进一步促进乌兰察布大数据产业发展,给当地在GDP、招商、就业、城市建设规划与税收上带来直接好处。作为视频与AI头部企业,快手在乌兰察布的数据中心也将专用于大数据与AI,因此将给当地大数据产业带来更多想象空间。乌兰察布距离快手北京海淀总部330公里,车程4小时左右,如今乌兰察布已实现高铁进京,快手总部的技术人员只需10分钟即可到达清河高铁站,再乘坐100分钟高铁到达乌兰察布,参与到数据中心的建设与运维中。投资乌兰察布数据中心,快手服务器规模一下跃升到全国互联网行业前五,目前阿里与腾讯的数据中心服务器规模在百万级,属于第一梯队;百度、字节跳动、快手与京东则属于第二梯队,拥有几十万台服务器。跟BAT等互联网巨头的数据中心不同,快手乌兰察布数据中心是国内互联网行业第一个自主研发并独立完成整体概念设计的数据中心,快手将择机开源其概念设计方案,助力国家新基建战略——数据中心/云计算是新基建七大领域之一。那么,快手投资百亿自主研发与建设数据中心是出于什么考量?快手服务器规模跃升互联网行业前五意味着什么?结合对快手IDC技术负责人张子坚的采访,罗超频道视图找到答案。服务器互联网前五意味着什么?互联网是实体世界的比特化,数据中心负责生产与存储比特。不论是外卖、电商、视频、直播还是搜索,一切跟互联网有关的应用背后,都有数据中心在发挥基础作用。服务器在数据中心日夜不眠地响应需求、运行代码、运算数据、得出结果,这些结果通过有线光缆与无线信号传输到用户设备,最终被展示为用户在互联网上所看到的一切。数据中心就是互联网业务的基础设施。2015年,谷歌公布过一组图片引发外界震撼,当时它已拥有以太级别的数据,遍布全球的36个数据中心:美国19个、欧洲12个、俄罗斯1个、南美1个和亚洲3个(北京、香港和东京各1个),驱动着这个全球最大的搜索引擎,谷歌将数据中心称为互联网实体,即唯一能够让你肉眼可见的互联网。互联网公司的数据中心规模与业务规模成正比。阿里腾讯拥有百万级服务器的数据中心位居第一梯队,这与其在互联网行业的体量成正比。快手服务器互联网行业TOP5是其跻身巨头行列的侧影。一方面是用户规模。易观数据显示,今年4月抖音与快手活跃人数分别达到5.85和4.87亿,环比增长率分别为3.8%和3.6%。4.87亿活跃用户在互联网行业属于巨头级水平。同时,快手的营收水平也已达到巨头水平,有媒体报道,快手2019年总收入500亿元,其中直播收入接近300亿元。另一方面是业务广度。快手不再只是一家短视频公司。与快手并列服务器规模TOP5的巨头,阿里、腾讯、百度、字节跳动业务都相对庞杂,快手聚焦短视频业务,向产业渗透实现快手+。QuestMobile数据显示,今年2月快手上看直播的用户量占日活用户的比例达到50%,大力发展直播业务的抖音的这一比例只有28%,快手事实上已是最大的直播公司。直播+短视频电商的成功让快手成为电商行业的鲶鱼,最新数据显示快手电商日活已突破1
收费。 快手宣布将投资百亿在内蒙古乌兰察布市建立数据中心,据介绍,快手乌兰察布大数据中心是快手第一个自建超大规模互联网数据中心,投入百亿的资金,快手数据中心开通了使用需要收费,从而来获取到建设的成本。
自上世纪90年代互联网技术诞生以来,移动互联网、云计算、大数据、人工智能等新一代信息技术的不断发展和逐步成熟,并日益深入的渗透到经济社会的各个领域,2020年全球范围内爆发的新冠疫情又进一步加速了这一趋势,数字经济已经成为世界经济发展的新阶段,即世界经济发展已经进入数字经济时代。 党中央、国务院和各级政府高度重视数字经济的发展。 从2015年《中国制造2025》、《促进大数据发展行动纲要》等政策出台以来,中央和各级地方陆续以推出系列数字经济发展的措施,并支持雄安新区、浙江、福建等六个地区建设国家数字经济创新发展试验区,支持北京、上海、深圳、西安等地建设国家新一代人工智能创新发展试验区。 2020年国家进一步提出加强新型基础设施建设,并明确将数据作为一种新型生产要素写入政策文件,这些将为数字经济的发展奠定更加坚实的基础。 农业经济时代,土地、水源和工具是关键资源。 工业经济时代,能源、原材料、机器设备和生产工艺等是关键资源。 那数字经济时代的关键资源是什么呢?数字经济时代的关键资源是数据、算力和算法。 数据是数字经济时代的原材料,各种经济活动中都在源源不断的产生的数据,越来越多的组织也将数据当作一种资产,在政策层面数据已经成为一种新型生产要素。 算力相当于数字经济时代的机器设备和生产力,面向各种场景的数据产品或应用都离不开算力的加工和计算,而且对算力的需求和要求也越来越高。 算法是数字经济时代的生产工艺,面向图像、语音、自然语言处理等不同的应用场景和领域的算法也层出不穷,算法的提升和改进可以提高算力的效率和更多的挖掘数据价值。 本文重点分析算力方面内容,介绍算力市场总体情况,当前算力发展的特点和趋势,以及重点算力供应方式等。 一、算力需求快速增长,算力投资具有多重经济价值算力即计算能力,核心是CPU、GPU、NPU、MCU等各类芯片,具体由计算机、服务器、高性能计算集群和各类智能终端等承载。 数字经济时代,数据的爆炸式增长,算法的复杂程度不断提高,对算力需求越来越高。 算力是数字经济发展的基础设施和核心生产力,对经济发展具有重要作用,根据IDC与浪潮联合发布的《2020全球计算力指数评估报告》,计算力指数平均每提高1点,数字经济和GDP将分别增长3.3‰和1.8‰。 随着数字经济的不断发展,人工智能、物联网、区块链、AR/VR 等数字经济的关键领域对算力的需求也将呈爆炸式增长。 根据华为发布的《泛在算力:智能社会的基石》报告,预计到2030年人工智能、物联网、区块链、AR/VR 等总共对算力的需求将达到3.39万EFLOPS,并且将共同对算力形成随时、随地、随需、随形 (Anytime、Anywhere、AnyCapacity、Any Object) 的能力要求,其中人工智能算力将超过1.6万EFLOPS,接近整体算力需求的一半。 OpenAI开发的GPT-3模型涉及1750亿个参数,对算力的需求达到3640PFLOPS,目前国内也有研究团队在跟进中文GPT-3模型的研究。 算力投资具有多重经济价值,不仅直接带动服务器行业及上游芯片、电子等行业的发展,而且算力价值的发挥将带动各行业转型升级和效率提升等,带来更大的间接经济价值。 根据《泛在算力:智能社会的基石》报告,每投入1美元算力即可以带动芯片、服务器、数据中心、智能终端、高速网络等领域约4.7美元的直接产业产值增长;在传统工厂改造为智能化工厂的场景下,每1美元的算力投入,可以带动10美元的相关产值提升。 二、算力发展的特点及趋势随着数据规模的增加和算法复杂度的提升,以及应用多样性的不断丰富,对算力提出的要求也越来越高,当前算力发展呈现出三方面的特点,一是多种架构百花齐放的状态,二是中心化的算力与边缘终端算力快速发展,三是专用算力日渐成势。 近年来多种算力架构并存并快速发展。 曾经x86架构的算力占绝对优势,英特尔和AMD基本垄断了X86算力架构市场,海光信息通过跟AMD合作获得x86架构的授权;如今基于ARM架构的算力份额不断扩大,特别是在移动端ARM架构算力成为主流,华为海思等主要产品是基于ARM架构,另外天津飞腾的产品也是基于ARM架构。 随着人工智能等算力需求的不断增加,GPU算力的需求不断增加,英伟达在GPU算力市场占有绝对优势,AMD也分了一杯羹,叠加比特币挖矿算力需求,导致市场上GPU卡供不应求。 近几年国内也出现几个GPU方面的创业团队,如寒武纪、登临科技、燧原科技等。 此外,Risc-V、存算一体化架构、类脑架构等算力也不断涌现,不过这些算力刚刚起步,在应用生态等方面还需要一定较长的培育过程。 中心化算力和边缘终端算力快速发展。 随着7nm制程日渐成熟,基于7nm制程的CPU、GPU等算力性能得到极大提升,目前7nm制程算力主要是中心化算力,移动端智能手机的处理器算力部分也已经采用7nm制程。 台积电的7nm制程已经实现规模化,并开始攻关3nm工艺制程;中芯国际7nm工艺制程仍在技术攻关当中。 随着5G及物联网应用的不断增加,边缘终端算力的需求日益增加,特别是自动驾驶、智慧安防、智慧城市等领域算力需求。 地平线自动驾驶芯片已经量产,英伟达jetson产品在嵌入式终端产品应用广泛,其他针对特定领域专用边缘终端芯片创业公司层出不穷。 针对图像、语音等特定领域的专用算力日渐成势。 一方面是芯片工艺制程越来越逼近摩尔定律的极限,另一方面是物联网智能终端对功耗的要求等,针对特定领域的专用芯片层出不穷,并且越来越多的巨头参与其中。 谷歌的TPU专为机器学习定制的算力,阿里平头哥的含光NPU专为神经网络定制的算力,赛灵思的FPGA算力,网络研发针对语音领域的鸿鹄芯片以及云知声、思必驰、探境科技等也推出智能语音相关的芯片,北京君正、云天励飞、依图科技和芯原微电子等推出针对视觉和视频处理相关的专用芯片。 三、算力供应以公有云和自建算力为主,多种方式相补充当前的算力供给主要包括公有云、超算中心、自建算力、地方算力中心等方式。 其中,公有云和自建算力中心是算力的主要来源方式,超算中心及地方算力中心等多种方式相互补充。 规模化的算力供应通常通过数据中来承载,新建数据中心的不断增加,将带动未来算力资源的供应不断扩大。 据中国电子信息产业发展研究院统计数据,2019年中国数据中心数量大约为7.4万个,大约能占全球数据中心总量的23%,其中大型数据中心占比12.7%;在用数据中心机架规模达到265.8万架,同比增长28.7%;在建数据中心机架规模约185万架,同比增加约43万架。 2020年国家大力支持“新基建”建设以来,数据中心作为“新基建”的重要内容,京津冀、长三角和珠三角等算力需求地区,以及中西部能源资源集中的区域,如内蒙、山西等,均在推进新的大中型数据中心的建设。 公有云以其稳定和易用等特点,成为许多企业特别是中小企业的算力首选方式。 据不完全统计,阿里云服务器总数接近200万台,腾讯云服务器总数超过110万台,华为云、网络云、京东云、AWS等云厂商服务器总数未找到确切数据,保守估计各类云厂商服务器总数之和也超过500万台。 而且在国家宣布大力支持“新基建”建设之后,腾讯宣布未来五年将投资5000亿元用于云计算、数据中心等新基建项目的进一步布局,阿里云宣布未来三年阿里将投2000亿元用于面向未来的数据中心建设及重大核心技术研发攻坚,网络宣布预计到2030年网络智能云服务器台数将超过500万台。 各大云厂商仍在继续加大算力投入,公有云算力供应将会更加充裕。 自建算力以其安全性和自主性等特点,成为政府、大企业及其他关注安全的组织的算力首选方式。 政府、银行及高校和央企等,通常通过自建或租赁数据中心的方式自建算力,满足自身各项业务的算力需求。 许多互联网公司在刚开始时选择使用公有云服务,但规模发展到一定程度时通常都会开始自建或租赁数据中心的方式自建算力。 其他有部分各种类型的企业,出于安全、商业机密和隐私等方面的考虑,不意愿把数据和业务等放到阿里云等公有云上,往往选择托管服务器的方式自建算力,规模更小企业直接就在本地使用。 2020年6月快手宣布投资100亿元自建数据中心,计划部署30万台服务器,字节跳动等大型互联网公司都在不断加大数据中心的建设。 超算中心和地方算力中心作为算力供应有效的补充方式,适合于大规模计算需求的应用领域。 截至2020年,科技部批准建立的国家超级计算中心共有八所,分别是国家超级计算天津中心、广州中心、深圳中心、长沙中心、济南中心、无锡中心、郑州中心和昆山中心。 超算中心主要的算力资源以CPU为主,新建的超算中心及更新升级过程中超算中心逐步增加了异构GPU算力资源。 超算中心较好的满足和弥补了高校科研中算力资源的需求,特别是在工业仿真、生物信息、新材料、气象、海洋等科学计算领域。 国内主要省市地区基本都投资建设了当地算力中心,重点服务本地科研和产业发展的需求,如太原、苏州、福建等地,目前通常地方算力中心的规模并不大,计算节点数在200-500之间居多,主要服务于当地气象、工业仿真和生物信息等领域计算需求。 此外,2020年以来,武汉、南京、珠海、许昌等地区正在建设人工智能计算中心,将在一定程度上弥补当前规模化AI算力不足的情况。 结语算力作为数字经济的基础设施,也是数字经济时代的生产力和引擎,越来越成为数字经济时代国家竞争力的体现。 根据IDC与浪潮联合发布的《2020全球计算力指数评估报告》,中国和美国的算力建设在全球处于领先地位,美国的算力无论在规模、效率、应用水平等方面都领先于中国。 此外,从算力芯片供应角度看,美国的英特尔、AMD、英伟达等企业几乎占了全球的绝大部分的市场份额。 可见,中国在算力建设和发展仍然需要加大投入和加强研发等,发挥优势的同时弥补不足,从而为数字经济长期发展奠定更加坚实的基础。
快手自研云端 SoC 芯片正在内测中
快手自研云端 SoC 芯片正在内测中,快手并不是第一家开始着手自研芯片的互联网大厂,包括谷歌、Meta、字节跳动、腾讯、等互联网大厂纷纷加码布局并着手自研芯片。快手自研云端 SoC 芯片正在内测中。
今日,快手在视频云品牌 StreamLake 发布会上,发布了视频云品牌 StreamLake,标志着进军技术 toB 市场的野心。其中,StreamLake 包括 Video+AI 两个核心优势领域,将为企业的视频化升级提供全链路解决方案。
对此,快手高级副总裁、StreamLake 业务负责人于冰透露,快手以 AI 和音视频业务为重点,研制出面向视频直播点播应用的云端智能视频处理 SoC 芯片 SL200 和解决方案,目前已流片成功,并正在进行线上内测。
同时,于冰指出,该芯片的推出,有助于进一步提升行业技术实力,帮助客户和企业用更低的计算成本,带来更高的收益。据其介绍,目前该芯片还在小规模测试阶段,量产还需要一段时间。
此外,过去一年,StreamLake 已与知乎、中国联通、央视频、小米等众多合作伙伴,在视频化、智能化领域展开探索。
值得一提的是,快手并不是第一家开始着手自研芯片的互联网大厂,随着视频流媒体对于视频清晰度的不断拔高,以往的CPU 和 GPU 已无法明显无法满足巨量视频业务的需求。因此,包括谷歌、Meta、字节跳动、腾讯、等互联网大厂纷纷加码布局并着手自研芯片。
8月10日,短视频与直播平台快手在北京召开发布会,发布视频云品牌StreamLake,正式进军B端业务领域。
快手首席技术官陈定佳,快手高级副总裁、StreamLake业务负责人于冰,快手技术副总裁、AI技术及主站技术负责人王仲远出席发布会,知乎合伙人兼CTO李大海、联通在线信息科技有限公司副总经理秦吉波、NVIDIA英伟达亚太区开发与技术总经理李曦鹏等合作伙伴代表和专家分享了视频化浪潮的趋势与需求。
快手StreamLake专注于成为视频化升级助推器,将沉淀多年的音视频和AI等关键技术能力以产品化的形式对外开放。
“把所有技术细节封装成一个用于全行业视频化转型的操作系统,给用户提供交互简洁、容易接入的交付界面。”于冰表示,StreamLake可用更先进的`技术帮客户提升视频体验,同时让成本可控。
此外,NVIDIA将与StreamLake共建生态,向更多的开发者、初创公司和合作伙伴提供服务与支持;同时,快手StreamLake宣布与联通在线达成战略合作,双方将共同研发数字人能力开放平台。
(图:StreamLake品牌发布会启动仪式)
Streamlake要把“重工业”变成“轻工业”
视频正在成为各行业连接客户最广泛的载体。来自Ericsson Mobility最新报告显示,未来六年移动数据流量增长4.38倍,其中视频流量占比将达到79%。
快手首席技术官陈定佳表示,对于下一代互联网的形态,目前还存在比较大的不确定性,但无论承载介质是什么,底层都离不开音视频和AI技术。
在快手高级副总裁、StreamLake负责人于冰眼中,随着5G广泛部署,未来几年视频将像空气和水一样无处不在,但视频化升级面临体验痛点多,带宽成本高,创新和规模化效率低等难题,是名副其实的“重工业”。
“StreamLake就是要把‘重工业’变成‘轻工业’,把快手服务大规模用户所积累的基础设施、AI、音视频、算法等核心能力,通过模块化、标准化方式开放给其他企业。”
(图:StreamLake OS全景图)
快手自研的KVC编解码标准,能将解码功耗优化到与上一代H.265/HEVC标准基本一致,同时比行业平均水平节约40%~50%带宽;快手的多码率自适应算法,可在网络速度和清晰度之间做最优平衡,上线后用户卡顿率大幅下降49%。
成本优化方面,快手提出了基于ROI(投资回报比)的视频生命周期管理方案,运用精准视频热度预测模型来提前触发视频压缩任务,从而最大化节约成本;快手研制出的面向视频直播点播应用的云端智能视频处理SoC芯片,目前已流片成功,并正在进行线上内测。这些能力都会包含在StreamLake产品中,为行业客户提供最佳实践。
StreamLake的技术能力与模块中,视频AI是重要组成部分。快手技术副总裁、AI技术及主站技术负责人王仲远表示,智能视频创作、智能视频理解、数字人及XR等技术将给客户带来丰富价值。
他首次发布了“数字人及XR解决方案”,包括传播型数字人、服务型数字人、虚拟化身数字人,快手在三个方向均有布局和成功案例。目前,快手已与联通在线达成战略合作,双方将共同研发数字人能力开放平台。
坚持技术开放,专注视频云和解决方案
据了解,快手StreamLake业务2020年开始酝酿,2021年起步探索,并在今年成为独立业务,StreamLake品牌发布成为快手技术toB业务的全新起点。
快手首席技术官陈定佳对StreamLake技术toB业务充满信心。“技术toB是长期坚定的方向,我们愿意和合作伙伴一起携手,赋能用视频技术探索商业世界的每一步,实现共生双赢。”
(图:快手音视频核心技术积累)
据介绍,过去一年,快手已携手知乎、中国联通、央视频、小米等众多合作伙伴,在视频化、智能化领域展开探索。
陈定佳表示,视频化正在赋能千行百业,快手自身发展中所经历了快上线、提品质、扛规模、控成本四个阶段,所积累的底层基础设施和技术团队,将在创新、体验、规模、成本四个方面为客户提供价值。
8月10日,快手高级副总裁、StreamLake业务负责人于冰,在今天的快手视频云品牌StreamLake发布会上,正式发布视频云品牌StreamLake,进军技术toB市常事实上,StreamLake过去一年凭借Video+AI两个核心优势领域,已经与知乎、中国联通、央视频、小米等合作伙伴展开合作,为其视频化升级提供全链路解决方案。
快手SL200芯片公布
于冰还透露,快手的云端智能视频处理SoC芯片SL200和解决方案,目前已流片成功,正在进行线上内测。他认为,快手的SL200自研芯片将有助于进一步提升行业技术实力,帮助客户和企业用更低的计算成本,带来更高的收益。据悉,该芯片正处于小规模测试阶段,距离量产还有一段时间。
最近几年,云计算、数据中心和人工智能迅速发展,这源于用户的现实需求。就拿视频来说,用户激增,视频越来越难以被压缩和处理,这要求互联网巨头们必须要自研AI、CPU、DPU等芯片。在快手之前,谷歌、腾讯、字节等已经在自研芯片。
标签: IDC、 互联网、 数据中心、本文地址: https://yihaiquanyi.com/article/09925ebae22c8e54a59e.html
上一篇:利用数据中心余热的创新方式利用数据中心可...