.

专访星环科技朱珺辰大数据和云原生技术融合

治疗白癜风 的中药 http://m.39.net/baidianfeng/a_4750277.html

导读:7日-10日,世界人工智能大会在上海举行,星环科技也将以大会战略合作伙伴的身份与会。在大数据时代,中国软件行业发展的怎么样了?在基础软件领域,我们又有哪些“硬气”的资本?日前,观察者网就此话题对星环科技联合创始人朱珺辰进行了专访。

“在大数据和云原生技术融合等方面,中国已经做到了事实上的国际 ,并能引领行业发展”,星环科技联合创始人朱珺辰表示,以星环科技提供的基础软件服务为基础,在金融、交通、政务、能源和安全等诸多领域,中国已经实现了国产软件的自创、自建、自用、自有。

这不仅摆脱了对国外公司的依赖,将核心软件掌握在自己手里;也验证了国内自研软件生态和自研硬件生态的结合道路,是切实可行的。

与此同时,朱珺辰先生也向观察者网指出了业内存在的部分客观现状和问题,例如人才紧缺、互联网企业对人才的“虹吸效应”过于强劲、大数据服务产能供给不足等。

星环科技是一家致力于开发大数据基础软件的“独角兽”企业,也是上海抗疫功臣“随申码”的底层数据库系统及高并发数据服务提供商。在世界人工智能大会上,星环科技以大会战略合作伙伴的身份亮相。

图源星环科技

在大数据时代,中国软件行业发展得怎么样了?在基础软件领域,我们又有哪些“硬气”的资本?观察者网专访整理如下。

观察者网:能不能简单介绍一下星环科技的技术水平和应用场景?在哪些领域我们达到了国际水平,实现了关键性的技术突破和技术创新?

朱珺辰:我们现在主要专注于基础软件领域。星环科技最早从大数据相关产品开始发力,后面逐渐覆盖到人工智能和数据库等领域。目前,我们拥有非常庞大的客户群体。

我们聚焦分析型数据库场景,并为其提供配套支持。在容器和云原生的融合等方面,我们已经达到了国际 水平。星环科技是最早通过TPC-DS基准测试的,也是最早把大数据和AI服务,以容器云的方式、云原生的技术,打造成大数据云产品的。

观察者网:国内其实也涌现了大批同行业企业。他们的发展方向大致是怎样的?大家存在哪些不同?

朱珺辰:在大数据平台原创性上,大家还是存在着很大差距。

星环科技的大数据平台是基于分布式技术实现的。星环科技旗下数据库产品,基于分布式架构,得到了统一的规划设计和产品实现。但有很多同行,它们的数据库是在传统的MPP数据库架构基础之上,进行优化和演进。在这一点上,大家还是存在差距的。

以数据库为例,我们引入了多模数据库的架构,并通过容器技术,实现了统一的资源管理调度、统一的存储管理、统一的计算引擎,以及统一的SQL编译引擎。各种产品数据,诸如图计算、搜索、批处理和交互分析,都可以基于上面的模态而存在,从而促成技术实现。

整体而言,一方面,这条技术路径可以让我们的产品形成一个整体,以多模数据库的形态,去应对不同的业务场景;另外一方面,我们的项目研发也会更加高效。以模块的形式,很多环节可以复用,并不需要重复“造轮子”。由此来看,大家在技术架构和演进框架上,差别还是比较大的。

观察者网:国外竞品的发展情况如何?

朱珺辰:放眼国外,在大数据领域,诸如Cloudera这类国外公司,发展都比较早。不过它们相对而言更侧重开源的控制权。Cloudera今年开始修改它的收费策略,要求所有的版本都需要付费。像国外的这种“免费午餐”,今后越来越难“吃”到了。

在我们喊出“大数据和云原生技术融合”,并产生了一些相关业务价值之后,Cloudera也沿着这条路线展开了引进和开发。按照其说法,他们在年开始尝试有关技术,并于今年上半年取得了初步成果。因此在技术方向上,我认为星环科技发挥了引领作用。

国外公有云的发展相对来讲是比较迅速的,其接受程度也更高。一些国外公司的发展模态是基于公有云,构建其配套的数据分析产品和相关工具栈。这是国外竞品的基本情况。

观察者网:国内外的发展状态,用“差距”来形容更恰当,还是用“差异”来形容更确切?

朱珺辰:我觉得在大数据领域,“差距”是谈不上的,国内的技术在某些领域更为 。

在具体的技术实现上,国内外会存在不同。但在发展路径上,国内外的差异一定程度上在慢慢缩小。就大的发展方向而言,大数据技术是市场以及客户需求在推动的,因此在认知方面,大家的差异会不断趋同。况且在大数据领域,中国确实起到了一定的引领作用。

观察者网:之前看到咱们的公开介绍资料,星环科技基本实现了软件技术的自主重构。围绕这一块,能不能讲解一下背后的技术和产业意义?

朱珺辰:星环科技选择并坚持了自主路线。不过,这并不是说我们从一开始就是“为了自主”,从而标新立异地去推进这份事业。在很早之前,我们就在软件技术领域有所积累和耕耘。从大环境上来说,彼时还没有中美之间所谓的 ,而国家信创(信息技术应用创新产业)也还没有到达今天的高度。

公司创立之初,遇到的问题是客户的需求不能被开源产品及其组件满足。当时我们也曾尝试着加入开源社区并做出贡献,但实际上,开源社区是被国外公司把控的,不是说我们想把技术往哪个方向引导,就能如愿的,这是其中一个方面。

第二个方面,相对来讲,中国早些年对软件价值的重视不足。在市场环境不理想和知识产权保护不足的大环境下,旧有模式其实是不合适的。

实践证明,在中国,企业难以通过之前的开发模式存活下来,并长远发展。

因此,我们当时考虑到两个方面:其一是开源路线本身,它不能满足客户和市场需求;其二是中国的市场和竞争状况,决定了我们不会采取“开源+社区”的方式。

从技术方面来看,我们很早之前就发现,Hadoop架构设计初衷,就是服务于海量数据的批处理计算。在交互分析和数仓等方面,它是没有办法同MPP架构相较量的。它不仅不能完全运作,在性能上也存在明显差距。

结合我们后来迈入银行业的感受。银行是要保障数据最终一致性的,所以银行在数据加工过程中的批量更新和删除等方面存在需求。但开源架构并不能提供有效支持。

在当时的环境下,基于开源模式无法满足客户需求等一系列原因,我们开始做自主研发,沿着业务应用,向底层技术探索。相比于选择“开源”,自研会更早地遇到问题、发现问题并解决问题。

中国市场的数据量远超美国,这是人口基数决定的。特别是银行业、金融业,它们的存量业务系统非常庞大。以我们的从业经历来说,一些正常规模的银行客户有上万张表,其批处理作业规模非常大。

美国总的人口规模决定了其数据量级低于中国,包括银行交易的流水、清单,以及交易平台衍生的其他记录。我们早期涉及的公安和运营商业务,它们的数据量也远超美国。

因此,在服务客户和市场推广过程中,我们会根据实际需要,进行相关的自主研发。

观察者网:在提供基础面支撑性服务的时候,星环科技有哪些发现?我们的国家近些年来有哪些可喜的变化?

朱珺辰:各方面都能看到积极的变化,同时大环境也在向好。比如国家对基础软件的重视,以及对相关数据处理价值的重视。从资本维度上说,利好政策还包括科创板的设立。这一系列举措,都对我们有比较大的帮助。

观察者网:刚才我们多次聊到了大数据。人工智能+大数据+云的结合,也是现在的趋势。它们三者是什么样的关系,三者结合的技术导向,会对行业提出哪些新要求?能不能联系到星环科技的实际业务谈一谈?

朱珺辰:结合业务实际,我们的理解是:大数据、人工智能和云,它们是一个相辅相成的关系,

很多时候,大数据促进了人工智能等技术的发展。因为不少技术进一步发展的前提是:数据要先聚集起来。以前数据都是分散地、孤立地存在于企业的各个业务系统之中的。现在数据集中了,那么资源就集中了。对于大型集团客户而言,各部门、各分支机构的数据分析需求长期存在,如今又面对数据和资源的大集中,自然而然地就延伸出对企业内部私有云、数据云的需求。

这个话题的另一个部分,是人工智能本身的发展。两个方面:

其一,在结构化数据领域,早在AlphaGo这个热点引爆之前,我们就已经在做相关研究。以前的很多工作,诸如统计和数据挖掘算法,它们其实都会受限于计算力。很多时候,它们是以抽样的方式,进行相关建模分析的。在这种情况下,整个模型的精度,以及相关建模的效果,其实是要打折扣的。

后来伴随着大数据分布式计算技术的发展,算力问题得到解决。依托此背景,面向传统机器学习,可以通过分布式技术,包括对算法进行分布式实现,从而达到基于全量数据训练的效果。从这个角度来说,整个模型的效果会大幅提升。

其二,对数据的处理。人工智能技术大大拓宽了数据处理的类别,以前更多是针对结构化数据,展开相关的建模分析;现在则可以通过人工智能技术,引入非结构化数据,包括图片、视频、文本,还有音频等。

在以前,很多非结构化的数据,甚至都不会被储存下来;如今的技术发展,已让它们可以被存下来、被处理,并发挥价值。

从这个角度上来看,有分布式算力,又有非结构化数据储存处理。自然而然的,市场就存在需求;对应的,技术会不断进化,以满足需求。

因此总的来说,云、人工智能和大数据技术的结合,是比较紧密的。

观察者网:那在技术落地这块呢?星环科技是如何推动大数据和应用生态的具体结合的?面向社会,星环科技准备如何推动大数据的普惠化工作?

朱珺辰:年,我们公司刚刚成立。在市场推进和业务拓展的时候,我们比较注重生态的构建。我们一直专注于底层基础软件的开发,这和其他一些大数据开发公司是不同的。它们重点


转载请注明:http://www.abachildren.com/sszl/1410.html