信息管理与信息系统_IBM领跑信息管理

信息管理与信息系统_IBM领跑信息管理,第1张

(记者 邹大斌)在日前于美国举办的Information On Demand 2007大会上,IBM公布了一系列的产品计划,对其信息随需应变战略进行了丰富和扩充,包括新版的DB2 Warehouse、内容管理系统和全新的主数据管理系统及针对企业Web 20方面需求的Info 20,从而进一步巩固了其在信息管理方面的领先优势。

在我们所处的这个时代里,信息的价值无论怎么评价也不算高估。不过,说起来容易做起来难,让这些信息真正发挥作用并非易事,企业要么无法获得所需的信息、要么无法让信息为己所用。为了响应企业的这一普遍需求, IBM提出信息随需应变(Information On Demand,以下称IOD)这一战略构想,而从2006年开始举行的一年一度的Information On Demand大会,也就成为IBM将对这一战略构想的最新理解、最新技术及实践传达给用户的一个大讲坛。

今年的10月15~19日,IBM将这个大讲坛设在美国的赌城拉斯维加斯,来自全球的6000多名参会代表参加了为期一周的Information On Demand 2007大会,共同见证了IBM精心组织的数百场内容精彩的演讲和演示,领略了IBM在这一领域的众多前瞻性理念和技术杰作。作为中国的媒体代表,本报记者飞赴拉斯维加斯参加了IBM举办的此次盛会。

信息是企业的核心资产

IOD所倡导的一个重要理念就是信息是企业的核心资产。很长时间以来,企业习惯于将它们的员工、专利、商标甚至厂房和设备看成企业的核心资产,现在,在核心资产清单上该添上一个新成员了,这就是信息。

然而,在企业已经看到信息的重要价值、开始重视信息的整合之后,很快他们就发现自己陷于信息的重重包围之中,一方面要不断在数据的获取上投入,而另一方面,却无法从纷繁芜杂的数据中得到真正有价值的信息:今天的企业需要面对太多的信息,这些信息以各种不同的形式存在,有结构化的信息,如传统的表单,也有非结构化的信息,如Word文件、音频、视频、图像、电子邮件等,它们通常会被封锁在各个不同的地方。以下是企业在利用信息时常面临的困境:

1 信息被封锁在众多孤岛式的信息源中,限制了信息的自由获取,而无法以一种方便的方式 *** 作。

2 信息量和信息的种类成指数级增长,仅仅是保存和维护如此海量的信息已经让企业不堪重负,更谈不上消除各个部门信息中的冗余、保持一致性、对信息进行整合了。而日益激烈的市场竞争需要企业具有比以前更加快速的响应能力。

3 对信息的准确性缺乏信心从而限制了信息价值的发挥程度。比如,由于多种原因,很多组织保存的数据中存在不少重复的记录、不完整的记录以及无效的记录。

“由于信息的爆炸式增长,使得企业保证在第一时间得到精确的信息成为它们保持竞争力的关键,其中涉及三个要素:信息、人或流程以及时间,只有三者能流畅地配合,即实现了在需要的时间能立刻将正确的信息传递给需要的人,才表明企业的信息系统已相当完善,这就是IBM的Information on Demand要达到的目的。”IBM软件集团高级副总裁Steve A Mills在Information on Demand 2007的开幕式再次明确了Information on Demand的含义。

Information on Demand

背后的含义

Information On Demand 是IBM对解决信息的整合和利用难题的一种通俗表达,它屏蔽了背后的技术复杂性,这些复杂的技术是由IBM及其合作伙伴来共同完成的。尽管用户完全可以不用了解其技术实现,但是这种了解无疑会有助于我们理解IBM提出这一宏伟构想的真正原因。

从本质上说,Information On Demand要实现的是业务流程真正的端到端集成,也就是在一个企业内部及其合作伙伴和客户之间进行集成。这意味着信息需要能够在这些流程之间自由流动,换句话说,各种格式的信息需要能够从它当前驻留的应用程序中释放出来,同时信息必须能够作为一项服务进行交付,能够被需要它的人和流程轻松地存取。

Information On Demand提供的解决办法分为两个部分。一是通过开放标准公开这些服务:当前的应用系统大多是通过传统的编程方法建立的,系统内部紧密耦合在一起,这样的系统改变很困难,缺乏灵活性,IBM通过采用像 Web 服务和 XML 这样的开放标准以及像 SOA 这样灵活的架构,帮助企业把服务发布出来,从而只要付出较少的努力就可以更快速地解决问题。由于采用开放标准,更多开发人员能够更轻松地存取他们所需的信息。

另一个部分就是让信息更可用或者说提升信息的价值。比如IBM提供有这样一些服务,它们集成信息(包括数据和内容,而不管它们在什么位置)以提供一个统一且精确的视图;向原始信息添加业务上下文;暴露信息中的复杂关系。Information On Demand可以为这些服务提供一个开放的框架。

不过,这还仅仅是Information On Demand表面上的意义,其更深一层意义在于,IBM认为要从根本上改变目前信息系统的构建方式。

众所周知,现有的系统是按照功能设计和构建的。如典型的套装软件就是按照功能设计,一个系统完成某一特定的功能,为完成这些功能需要存储某些数据,这些数据完全依附于这个系统,系统之间的数据很少有交流。在IBM看来,这种传统的应用构建方式正是现有的IT系统无法跟上业务变化的原因。IBM认为,信息作为企业的核心资产,它应该脱离应用存在。IBM通过引入XML技术,力图让业务人员可以不用IT部门的帮助自由地设计出业务需要的各种数据模型,再结合用SOA技术封装的各种流程相关的组件,使得业务人员也可以自由组装出所需要的应用,从而摆脱对套装软件的依赖。

“以一种高度可用的方式存储和保护数据或内容的传统应用目前仍然是信息管理的重要方面,但是一种更灵活的应用构建方式已经出现,并已通过工业技术方法取得了显著的进步,同时最好的实践也已经出现,这就是Information On Demand。” IBM软件集团信息管理部总经理Ambuj Goyal在接受记者采访时表示。

对非结构化数据的管理

在IBM Information On Demand战略构想中,对非结构化数据的管理是一项关键功能。这一功能的第一支柱当然是IBM的新一代数据库产品DB2 9,其采用的pureXML可以称做Information On Demand战略的核心技术。实际上,在2006年夏天IBM发布DB2 90时,卓越的XML支持特性就被作为其中的最大特性来宣传。

XML诞生于上个世纪90年代,设计之初主要应用于数据交换,但这种新型的数据组织方式却在应对信息的复杂性、可理解性和灵活性的挑战方面开启了新的道路,迎合了技术发展的方向和潮流。更重要的是,XML对非结构化数据的支持能力正是现在所需要的。统计表明,现有的数据中60%以上属于非结构化数据。IBM要倡导信息随时可取首先就必须完成对这部分非结构化数据的管理和整合。

IBM在去年发布的数据库 DB2 9中第一次实现了关系型引擎与层次型引擎的结合,实现了混合数据库。IBM将此技术称为pureXML技术。与一般关系型数据库的XML增强功能不同,pureXML技术第一次真正意义上提供了一种与XML层次型结构相匹配的层次型存储方式和相对应的 *** 作访问方式。

IBM对XML的支持不仅体现在DB2上可以存储 XML,DB2还具有一些服务,能够把XML文档分解成关系表结构和从关系表结构组合成XML文档。为了易于开发,DB2中还有一些特性能够帮助确保 XML 的完整性,比如模式和 XSLT 支持。数据库也支持基于XML的Web服务对信息的请求,比如 SOAP。

目前,对非机构化数据的支持能力已经扩展到IBM的其他产品上,在IOD大会IBM发布的最新数据仓库产品DB2 Warehouse 95就把对XML的支持推进到数据仓库产品上,从而提供了针对非结构化信息的分析能力。

丰富Information On Demand的产品组合

除了继续增强IBM核心产品DB2的功能、推出DB2 95外,IBM一直在不断丰富Information On Demand的产品组合。IOD大会上,IBM宣布今年会进一步完善Information Server,明年年初将有一个全新的软件产品Master Data Management问世。

Information Server解决的是信息整合问题。作为业界第一款综合性数据集成平台,Information Server的主要目的是能使客户更轻松地了解其全部信息资产并整合信息孤岛,从而为重要的业务和IT项目提供一致、全面、可靠的数据。

采访中,IBM信息平台与解决方案副总裁Jim Welch告诉记者:“Information Server推出以来,全球已有数百家客户及合作伙伴采用了IBM的这项技术。目前,IBM还推出了基于此平台的其他解决方案,如全新的针对行业的数据模式,为依赖常用数据的业务流程提供交钥匙的自动化能力。”

目前,IBM还在不断完善Information Server的功能。本次大会期间IBM透露新版的Information Server将在今天11月份推出,新版产品会在原有基础上对诸多功能进行改进,包括对IBM System z的支持、全新桌面元数据(desktop metadata)搜索能力、联合支持更多数据类型、全新SAP R/3支持等。

Master Data Management是Information On Demand战略的又一个重要补充。此款新软件旨在帮助企业集中管理主数据。事实上,在企业众多系统中存在一批核心数据集,这些数据被一次又一次地跨多个应用程序和业务流程而使用,如关于产品的数据、关于客户的数据、关于供应商的数据、关于特定业务中关键实体的数据等。传统上,这些信息有很多系统都会用到,而且每个系统都会有一份对这些信息的描述,结果会导致冗余和不一致性。

Master Data Management可以帮助企业管理多种主数据(如客户、产品及账户信息等),它具备多种功能,能够对数据进行定义、获取并将其作为企业的一项战略资产加以利用。在IOD大会上,IBM透露即将对这一全新软件进行内测,预计将于2008年初在全球上市。

Info 20:IBM版的Web 20

如果说IBM的上述各种产品着重解决的还是传统领域的问题,IBM Info 20的推出则算得上是赶上了时髦。众所周知,包括社交网络、博客、维基、RSS在内的Web 20已经成为一种流行的时尚,并逐渐波及到企业,目前大多数企业已经认识到需要抓住这一潮流,IBM自然也不愿放过这一时机,IBM 的Info 20正是IBM应对目前日渐流行的Web 20的一个重要举措。

“Web 20最吸引人的是,人们可以按照自己认为最有用的方式来开快速访问和组合信息,形成个性化的应用,而根本不用IT人员的介入。”IBM软件集团信息管理部CTO Aant Jhingran说。

Aant Jhingran介绍说,为了帮助企业用户快速创建自己的Mashup或者混合应用,IBM基于Web 20的上述特性,于今年6月份在网上社区发布了一个Info 20的试验性软件包Starter Kit,包括Mashup Hub、DAMIA和QEDWiki三个组件。其中Mashup Hub用来保存和聚合RSS、ATOM等各种种子(Feeds);DAMIA用来把一些数据组合成新的种子;而QEDWiki则提供一个统一的视图用来展现各种聚合来的种子。

“IBM在Web 20中看到了机会,这个机会正好可以充分发挥IBM在数据管理方面的丰富经验以及在数据整合和数据分析方面数十年的研究成果。因为Web 20中的数据不仅包含传统的IT数据,还有互联网上公开的和个人的数据以及各种结构化和非结构化数据,要从多种数据源中聚集信息,这正是IBM所擅长的。”谈到为什么要推出Info 20时,Aant Jhingran解释说。

目前,IBM已经着手建立Info 20合作伙伴联盟。在IOD大会期间,记者遇到了JUST System和SONOA System两公司的负责人,据他们介绍,两公司都已经推出了基于Starter Kit的Web 20产品。其中,JUST System公司还现场演示了如何把从气象台获得的台风信息作为种子,利用Starter Kit提供的工具把台风可能影响区域显示在Google Earth上,非常简单,给记者留下了很深的印象。

不过,目前IBM关于Info 20还有很多模糊的地方,其产品Starter Kit也还处于测试阶段,甚至在IBM内部对Info 20也有不同的解释。也许是出于这方面的原因,目前IBM还没有展开关于Info 20的宣传,即使在美国了解IBM Info 20概念的人也并不多。不过,尽管一切还不算清晰,其产品离最终发布还有一段距离,但是IBM显然已经注意到Web 20带来的巨大影响,并且明确了努力方向,依照IBM的实力和风格,我们有理由对这个产品抱以充分期待。

链接

Information On Demand的三个支柱

如果把Information on Demand看成正在建设的一栋大厦的话,数据(Data)、信息(Information)、内容(Content)三个方面的产品和解决方案可以看成是构建这幢大楼的三个支柱。

● 在数据方面,IBM发布了一个全新的产品,称为IBM Data Studio,它将和IBM已有的产品Rational一起共同提供数据的全生命周期管理的能力。

● 在信息方面,IBM围绕DB2 95这个数据库核心产品,衍生出众多的产品。包括去年推出的Information Server、支持实时数据管理和提供非机构化数据分析能力的新版数据仓库DB2 Warehouse 95、还处于测试阶段的Info 20和即将推出的全新产品Master Data Management 。

● 在内容管理方面,IBM依托于全年收购FileNet公司的内容管理产品而推出的IBM Content Management 84,来帮助用户管理多种内容,包括表格、图像和电子邮件等以及符合各种法规方面的规定。

记者要有高度的责任感,记者的岗位职责有哪些?

新闻技术专业的同学们想了解一下记者的岗位职责吗我现在要和各位共享有关记者岗位职责使用说明,热烈欢迎大伙儿前去阅读文章,期待对你有些协助。

一、电视台记者岗位职责

1、依据综艺节目精准定位可以单独进行电视栏目的新闻资讯、纪实片的写稿等工作中;

2、品牌形象优良,普通话水平出色,可兼编导专业、配声,感染力强

3、喜爱新闻工作,具有较好的新闻敏感性;

4、扎扎实实的文字功底、极强的专题讲座方案策划和采访能力;

5、具备较好的了解、沟通交流能力,极强的观察力和人际交往能力;

6、相对高度的责任感,优良的承受压力能力和精英团队精。

二、文化频道记者岗位职责

1、研究公司已有的网络媒体,搜集整理潜在用户的有关信息;

2、依据企业商品及领域特点,进行广告宣传商品的市场拓展与潜在用户开发设计;

3、掌握和挖掘顾客的广告营销要求,帮助广告商制订人性化营销策划方案,与顾客交涉并战略合作;

4、维护保养客户关系维护,对顾客带来专业的咨询,提高顾客满意度;

5、活动公司的营销策略及现行政策,达到销售业绩总体目标;

6、存档和升级全部总体目标商家拜会、协议书、服务条款等有关系的资料和数据信息,保证 信息内容在数据库系统中获得准确的维护保养。

三、电视台记者岗位职责

按劳动量规定担负和进行电视机新闻采访、写稿和制作每日任务。依据院校局势和宣传策划每日任务的规定,明确提出论文选题方案。普遍开拓新闻源,了解和把握学校情况,并与做兼职记者和报道员创建起紧密联系,充分发挥其能动性和主动性。

1、自身所编写的文稿客观事实原材料已核查准确无误,理应审批的文稿相关工作人员早已审查并签名。

2、图像已编写完或拍照素材内容已查验准确无误,并标明同期声、道或常用素材内容吊带。

3、对其他新闻企业文稿或通信员的文稿基本撰写或明确提出修改建议。

4、协作图编或文编进行同期声(采访)新闻的生成。

四、承担对电视台摄像器材和耗费原材料的存放和维护保养,没经准许禁止擅自借出,对耗费原材料的损耗和摄像器材的检修明确提出方案。

1、积极主动担负电视台的侧旋球事务管理。

2、努力完成台长督办的其他每日任务。

3、电视台记者岗位职责

4、新闻案件线索的收集整理和采访,对新闻是不是有报道使用价值作出立即并精确的地分辨。

5、承担专题讲座类频道的方案策划、写稿邀稿等文本的编写。

6、电视栏目的编写、包装、视频后期制作,与各单位搞好融洽。

7、按时向领导汇报工作进展以及进行状况,接纳领导干部和相关部门的辅导和监管。

8、融洽相关部门进行领导干部督办的的每日任务。

9、进行领导干部督办的别的暂时性工作中。

五、院电视台拍摄记者岗位职责

1、具备极度的进取心和责任感;

2、承担电视机新闻的统稿、成稿每日任务;

3、相互配合学校各阶段中心工作中的进行,用心、真正的报道校园内产生的一些事和全体师生切合的内容;

4、不但要具备新闻创作能力,与此同时要具有**导演素养;

5、承担与学校外新闻企业的沟通和报道工作中;

6、积极开展新闻宣传策划方案,善于摄录生动形象的新闻相片;每月进行月度考评基本上每日任务;

7、加强理论学习,听从工作计划,严格遵守新闻核查审签规章制度;

8、准时保证质量进行本频道新闻报道每日任务和新闻宣传工作目标;

9、积极参加广播节目电视栏目提升评定和新闻写作评定;

10、严格执行中心、编审委员会、宣传科的各类管理制度,塑造优良的新闻工作人员品牌形象;

11、爱惜、存放好电视广播机器设备设备,人为因素毁坏务必照价赔偿,没经部长批准,其采访机器设备设备不可借出。

图表控件可实现数据可视化,图形化显示当前工业领域、商业领域、金融领域等不可或缺的元素,通常采用图表进行数据可视化展示,直观地显示数据、对比数据、分析数据。图表控件就是具有这一能力的控件,很多项目开发中都会需求图表控件。

NET开发平台

>

LightningChart®NET原名LightningChart Ultimate SDK。 LightningChart完全由GPU加速,并且性能经过优化,可用于实时显示海量数据-超过10亿个数据点。 LightningChart包括广泛的2D,高级3D,Polar,Smith,3D饼/甜甜圈,地理地图和GIS图表以及适用于科学,工程,医学,航空,贸易,能源和其他领域的体绘制功能。

Iocomp NET WinForm

Iocomp NET WinForm控件是一款100%由C#编写、充分利用GDI+的优点的工业仪表盘控件套装。是用于生成具有专业级外观的仪表的控件,其自定义的属性编辑器提供了“一行代码,全部搞定”的简单快捷的属性配置方法。Iocomp NET WinForm控件包最多可提供了56种专业级控件以及绘图控件包组件。分为标准版(StdPack)、专业版(ProPack)、曲线版(PlotPack)、终极版(UltraPack)四个版本。

TeeChart for NET

TeeChart for NET是优秀的工业40 WinForm图表控件,官方独家授权汉化,集功能全面、性能稳定、价格实惠等优势于一体。TeeChart for NET制图控件提供了一套出色的通用组件套件,可满足无数的制图要求,也针对重要的垂直领域,例如金融,科学和统计领域。制图控件提供了一套出色的通用组件套件,可满足无数的制图要求,也针对重要的垂直领域,例如金融,科学和统计领域。

MindFusionDiagramming for WinForms

MindFusionDiagramming for WinForms是一个能帮助你创建工作流和进程图表的NET控件;数据库实体关系图表;组织图表;对象层次和关系图表;图表和树。它是基于对象-图表框,表格和箭头类型,将其归类分派给其他并结合成复杂的结构。该控件提供超过预先定义的50多种图表框,如自定义设计样式和对图表框着色等。

HTML5开发平台

FusionCharts XT

FusionCharts XT作为FusionCharts图表套包的主打产品,是50万用户首选的跨平台、跨浏览器的JavaScript/HTML图表解决方案,它提供了所有通用的图表类型,同时它还支持 ASP、 ASPNET、 PHP、 JSP、 ColdFusion、 Ruby on Rails、 JavaScript、甚至简单的HTML页面。它是你值得信赖的JavaScript图表解决方案,目前在全球有50万用户选择Fusioncharts来制作专业的JavaScript图表。

AnyChart

AnyChart是基于JavaScript (HTML5) 的图表控件。使用AnyChart控件,可创建跨浏览器和跨平台的交互式图表和仪表。AnyChart 图表目前已被很多知名大公司所使用,可用于仪表盘、报表、数据分析、统计学、金融等领域。

AnyChar HTML5图表高度可定制且高度兼容。拥有纯JavaScript API,AnyChart图表内置客户端数据实时更新,多层次向下钻区和具体参数更新。强大的主题引擎使你通过一系列图表进行独特的演示体验,而PDF和图像输出能产出图书质量打印文档。

Highcharts

Highcharts是一款纯JavaScript编写的图表库,为你的Web网站、Web应用程序提供直观、交互式图表。当前支持折线、曲线、区域、区域曲线图、柱形图、条形图、饼图、散点图、角度测量图、区域排列图、区域曲线排列图、柱形排列图、极坐标图等几十种图表类型。

QT开发平台

QtitanChart

QtitanChart是一个C ++库,它代表一组控件,这些控件使您可以快速轻松地为应用程序提供漂亮而丰富的图表。QtitanChart在QtC ++上实现,并且支持所有主要的桌面 *** 作系统 - Windows、Linux和Mac OSX。要将QtitanChart添加到您的程序中,只需要几行代码,便捷的体系结构允许您自定义文本的每个部分。

Highcharts

Highcharts是一款纯JavaScript编写的图表库,为你的Web网站、Web应用程序提供直观、交互式图表。当前支持折线、曲线、区域、区域曲线图、柱形图、条形图、饼图、散点图、角度测量图、区域排列图、区域曲线排列图、柱形排列图、极坐标图等几十种图表类型。

QT开发平台

QtitanChart

QtitanChart是一个C ++库,它代表一组控件,这些控件使您可以快速轻松地为应用程序提供漂亮而丰富的图表。QtitanChart在QtC ++上实现,并且支持所有主要的桌面 *** 作系统 - Windows、Linux和Mac OSX。要将QtitanChart添加到您的程序中,只需要几行代码,便捷的体系结构允许您自定义文本的每个部分。

1.各新闻单位审核所属新闻采编人员资格后,分别填写《领取新闻记者证登记表》、《领取新闻记者证人员情况表》(以下简称“两表”),经主管单位同意后,将“两表”以及每个申领人的身份z、毕业证、培训合格证(职业资格证)、聘用合同复印件等书面材料向我局申报。我局审核同意后,将电子材料向新闻出版广电总局备案。2.各新闻单位在向我局报送书面材料前,须通过加密终端登录中国记者网,按照申领新闻记者证的程序申请,将《领取新闻记者证人员情况表》的内容录入到网络系统中,确认填写内容准确无误后,逐级提交审核。通过网络系统提交的申领人相片电子文件(像素119×86,文件格式为JPG)须与领取新闻记者证后在证件上粘贴的相片(1寸免冠正面证件照,彩色白底)一致。3.经新闻出版广电总局审核同意后,所有获批的人员将在中国记者网中生成全国新闻记者证管理数据库,并以此为依据确定发证记者名单和证件发放数量。4.新闻记者证统一编号由中国记者网系统按照编号规则自动统一编制。5.新闻记者证按照中国记者网确认的记者名单、数量实行指定发放。我省新闻机构的记者证由我局统一打印并发放。6.各新闻机构领取新闻记者证后,须在记者证相片位置粘贴记者相片后加盖本新闻机构钢印(公章)。

可行的方法有:

1、看报纸上的报料电话。

2、在媒体微博后台留言。

3、通过“牛媒数据”进行报料。

牛媒网是国内首家新闻大数据平台、找记者报料平台。

在牛媒有全国10万+的新闻记者,通过搜索对应线口的记者,事件很快就解决了,而且有人工牵线联络记者,找记者非常快。

爆料渠道全覆盖

牛媒数据给报料者提供多渠道爆料方式,包括记者报料、媒体报料、广场报料。

爆料人不仅可以直接对接记者进行报料,而且可以与相关媒体联系进行爆料。

而更加重要的是,牛媒数据将点对点的爆料与广场分享深度结合。一方面爆料者可以在牛媒数据找到记者媒体,另一方面爆料者也可以在舆论广场发布自己的爆料。

这种多渠道融合爆料将突破传统的单线式爆料,使得爆料本身就可以变成舆论,公众对该舆论的关注将有效提高原有爆料的新闻价值,使其更具公众意义。

在数据为王的时代,牛媒数据的热点榜单,将使舆论发挥更大的新闻价值。

对于记者来说,点对点的报料也不可或缺。

牛媒数据将第一时间给入驻的记者提供最真实的爆料内容,记者可以根据爆料者提供的信息,快速找到爆料者并评估该爆料的新闻价值与报道风险,有效提高记者报道选题的内容价值。

为了提高记者获取爆料的准确性,牛媒数据还为爆料者提供媒体爆料的渠道。

对于爆料者来说,报社的名字可能更能让人印象深刻。人们往往不能记住记者的名字,即使对于某个记者有所了解,也无法清晰地知道其线口专业程度。因此爆料者更愿意记住媒体的名字,这在无形中就让爆料者有了一个爆料的方向。

牛媒数据多渠道报料系统,覆盖了各种可能的报料形式,将记者与爆料者紧密联系在一起。

记者将不再是孤军奋战,爆料者也不是自言自语,双方之间因为牛媒数据而有了一道坚实的桥梁。

希望我的回答对你有帮助。

自 2010 年左右兴起到现在,微服务(Microservices)已经成为事实上的软件架构范式,被企业广泛采用,并引发了围绕面向领域设计模式优缺点的激烈讨论。如今,这股浪潮开始席卷数据领域。

Data Mesh 是一种基于领域驱动和自服务的数据架构设计新模式,借鉴了微服务和 Service Mesh 的分布式架构思想,最初源于 ThoughtWorks 首席技术顾问 Zhamak Dehghani 发表在 MartinFowler 官网上的两篇文章《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。

ThoughtWorks 在 2020 年 10 月发布的技术雷达中,将 Data Mesh 从“评估”调升到了“试验”(ThoughtWorks 对“试验”阶段的技术的建议是:“值得一试。了解为何要构建这一能力是很重要的。企业应当在风险可控的前提下在项目中尝试应用此项技术。”),这意味着 Data Mesh 已经通过可行性验证,转而进入建议采纳阶段。据了解,包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已经在尝试实践 Data Mesh 这个概念。

但对于国内开发者来说,很多人听过 Service Mesh,甚至有不少人已经在实践 Service Mesh 了,对 Data Mesh 却知之甚少。围绕 Data Mesh 的理念和架构设计、它能解决现有数据架构的哪些问题、现在是不是采用 Data Mesh 的好时机等话题,InfoQ 记者在 2021 ThoughtWorks 技术雷达峰会现场采访了 ThoughtWorks 数据智能团队技术负责白发川,一探 Data Mesh 究竟。

1从微服务的视角看数据架构

没有一个概念是无缘无故凭空冒出来的,Data Mesh 的诞生也是基于对企业数据平台架构现状和弊端的反思而提出来的。

企业数据平台的演进大致可以分为三个重要阶段:

第一阶段,专有的企业数据仓库和商业智能平台;第二阶段,以数据湖为代表的大数据生态系统;第三阶段,云上数据平台,也是当前主流的混合实践模式,包含实时数据流处理架构、整合批处理与流处理的框架,以及完全采用基于云的存储托管服务、数据流水线执行引擎和机器学习平台。而这些数据平台架构存在一些共性的挑战:

难以启动:缺少用例支持,无法获得业务支持;长时间的数据湖设计与技术评估;需要统一组织内多个业务或技术部门;数据源难以规模化:缺少手段对错综复杂的源数据系统进行疏浚与管理;难以跟上不断增长的数据源系统规模;数据消费难以规模化:数据平台项目跟不上企业创新要求;用例过窄,难以满足规模化需求;平台能力跟不上错综复杂的用例需求;数据难以商业化:极高的开发和运营成本;难以将数据平台真正转化为商业竞争力;难以形成创新文化。这背后的根本原因在于,从业务的视角来看,企业数据平台架构从第一到第三阶段的演进其实一直延续着黑盒、集中式、单体架构的核心模式,由独立且专业化的数据工程师团队维护,业务方的可 *** 控性非常弱,数据团队很容易成为响应的瓶颈。

实际上,当前数据架构面临的挑战,与微服务架构之前的单体软件所面临的挑战非常类似:

基础设施法响应业务d性需求:单体数据架构下,基础设施资源所有业务共享,进集中式的管理和维护,法基于业务需求灵活进资源调整;数据商业化成本:加数据以产品思路对数据进处理,因此部分数据处理结果集法以商品的形式度量其业务价值;数据处理流线复成本:每个数据流线为独的数据作空间上下,跨流线的 数据结果或者中间结果需要进复时成本较,难度较;数据处理成本较:单体数据架构模式下,部分的数据处理作进集中统管理,在涉及更多业务场景持、更多团队协作下,数据处理的成本较。Data Mesh 试图基于微服务的架构思想设计数据架构,来解决上述问题。

2Data Mesh 核心思路和架构逻辑

Data Mesh 实际上是一组数据平台架构原则,融合了分布式领域驱动的架构(Distributed Domain Driven Architecture)、自助平台设计(Self-serve Platform Design)以及将数据视为产品(Thinking Data as a Product)的思维。

有别于数据仓库 / 数据湖的集中式单体架构,Data Mesh 是高度分散的数据架构。

对于 Data Mesh 的核心设计思路,白发川将其总结为以下几点:

从业务域视角出发,将业务解耦之后映射到数据视角,再将数据解耦,减少数据冗余度;将数据作为产品,使数据服务端到端完备,就像一个微服务一样,可以被直接访问和调用;自服务的基础设施,微服务的成功很大程度上归功于它有非常成熟的基础设施,比如 Spring Cloud、K8s 等,而数据的基础设施相对于微服务的成熟架构还有所缺失,这也是未来需要持续发力的地方;生态治理,站在消费者使用数据的业务链调用看数据是怎么被消费的,制定数据治理规范,让数据更为透明和易于使用;通过网格编排的思想设计数据走向,使数据产品能够支持不同模块、不同域的衔接。

在 Data Mesh 架构下,治理的始终是具有业务价值的数据服务,而不是一个个的原始数据文件。Data Mesh 的架构逻辑如上图:底层需要可自服务的数据基础设施,至少具备稳定性和可伸缩性两项能力;基础设施之上,面向域构建一个个端到端的数据消费服务提供给上层业务,可以认为每一个服务对应的就是一个数据产品,比如某个数据仓库可能抽象成 Data Mesh 中的一个 Data Service,每一个 Data Service 会包含算力、存储和服务这三项。不同的数据服务之间会有一个数据服务注册和调度中心,可以让不同的 Data Service 形成业务所需要的一系列数据服务编排。另外,围绕数据服务中心会形成数据授信访问申请、元数据管理、数据服务管理等一系列能力。

如果从软件架构的视角来理解 Data Mesh,则微服务映射过来就是 Data Service,基于微服务编排设计出来的 Application 映射过来就是 Data Product,基于很多 Application 编排生成的网格 Service Mesh 映射过来就是 Data Mesh。

Data Mesh 目前有两种落地形态,一种是闭环服务,也就是一个平台提供工具的同时还提供结果管理服务,并且只能在平台内部完成全生命周期的管理,即 Data as a Service;另一种形态则是平台提供数据和工具能力,但是工具能力为可选项,业务可以使用自己的工具,也可以使用平台的工具,即 Data Platform as a Service。

3会改变数据团队的工作吗?

同为大数据领域近几年诞生的新概念,Data Mesh、数据中台、湖仓一体可能会让很多人感到困惑:这三者有什么本质区别呢?

针对 Data Mesh 和数据中台的区别,白发川认为,数据中台是一个概念而非架构形态,它更多强调的是站在业务视角思考企业数据消费的形态,在通过数据中台理念梳理完数据的消费模式、业务场景之后,最终还需要用一个架构来承载和实现。而 Data Mesh 可以作为数据中台的一种实践形态。

针对 Data Mesh 和湖仓一体的区别,白发川则表示,湖仓一体主要是基于数据仓库、数据湖这样的成熟架构做整合,从体验和交互上来说减少了做一件事情需要完成的步骤,属于优化式架构,但它解决的问题只在于技术维度,解决不了业务团队瓶颈问题,也解决不了基础设施和业务解耦的问题。而 Data Mesh 首先从基础设施层面对架构做了一些调整,同时还定义了在这个架构下的团队分工协作。从架构层面来看,数据湖、数据仓库、湖仓一体跟 Data Mesh 实际上是可以并存的,而非对立或替代关系,在 Data Mesh 架构中,数据湖、数仓可能被包含在一个个 Data Service 中。

从另一个维度来看,数据湖、数据仓库或者湖仓一体架构的主要受众是企业的数据团队,只有数据团队需要关注这些架构。但 Data Mesh 的受众是数据团队和业务团队,他们都需要关心这个架构,这也是一个明显的差别。

Data Mesh 将数据所有权上移给了负责某一项功能的业务团队,他们可以按照自己更便于使用的方式去创建、接触元数据,对数据进行分类和存储。对应 Data Mesh 的架构来看,业务团队负责创建自己需要的 Data Service,而数据团队的工作更聚焦于底层数据基础设施,包括为 Data Service 初始化工作空间、将云厂商的组件和企业自己的底层平台能力组合包装成业务可用的方式(可以理解为迷你版的云)、Data Service 之间的调用能力封装等等。

这是否意味着 Data Mesh 改变了企业数据团队原有的工作内容呢?

白发川对此给出了否定答案,他认为,现在很多行业都在谈数字化转型,但当企业说数字化转型的时候,通常发生改变的只有数据团队,而业务团队却不受影响,这是有问题的。数字化并不等于数字团队,Data Mesh 实际上更好地定义了,当企业需要数据能力的时候,业务团队应该做什么样的改变。原来大家会笼统地认为凡是数据相关的都由数据团队做,导致整个数据团队从基础设施到业务完全耦合在一起。Data Mesh 其实是把数据团队和业务团队的职责边界做了更清晰的划分,使数据团队的职责更加聚焦和精简,从技术角度看对数据团队当前的工作不会有特别大的影响。不过过程中可能会涉及到一些人员的调整,比如原来数据团队中负责业务相关数据分析工作的人员会直接划到业务团队去,而关注业务无关的基础设施的人员则继续留在数据团队中。

4现在是采用 Data Mesh 的好时机吗?

前文提到,包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已经在尝试实践 Data Mesh,但 Data Mesh 还不是一个适合所有企业广泛采纳的架构模式。尽管 ThoughtWorks 推荐“采纳”Data Mesh,但这一推荐有一个重要前提,即“风险可控”。

白发川表示,当下企业落地 Data Mesh 主要的难点和风险可以从两个角度来看:一是规划视角,需要评估对数据架构做改造的投入产出比;二是技术视角,过去从数据仓库到数据湖的转变可以认为是替代式架构(不是从数据仓库演进到数据湖,而是造一个全新的),而 Data Mesh 属于演进式架构,改造的模式和设计的思维方式都与从前不同,目前行业内在大数据演进式架构改造的人才和经验方面相对都是有缺失的。

其中,性价比是企业在考虑是否采用 Data Mesh 时首先要考虑的。不管是微服务也好,Data Mesh 也好,都存在一个最基本的底线成本。回顾前文提过的 Data Mesh 架构,它需要基于底层d性基础设施来打造,可以认为云是做 Data Mesh 的起点,如果企业当前的数据架构不是基于云来做的,那从当前架构迭代到 Data Mesh 架构的过程中就需要更多改造步骤,比如要先做d性化改造,这样初步投入的成本就会变高。此外,构建 Data Mesh 需要的投资还包括构建自服务的数据平台、支持对领域进行组织结构变更以长期维护其数据产品,以及一个激励机制,来奖励将数据作为产品提供和使用的领域团队等等。如果企业衡量改造的投入产出比之后,发现收益无法超过成本,可能 Data Mesh 就不适合。

除了考虑性价比问题,白发川建议企业基于三个维度来评估自己是否应该采用 Data Mesh,分别是规模化、常态化和高门槛。其中,规模化指的是企业存在大量的领域且数据接入、数据消费规模都非常庞大,比如有大量产生数据的系统和团队,或者多种数据驱动的用户场景和访问模式;常态化指的是数据的使用频率很高,而不是一次性的;高门槛指的是企业需要非常精通大数据的技术人员来驾驭自己的数据架构。如果这三点都符合,就意味着企业需要考虑数据团队和业务团队之间的分工问题了,Data Mesh 可能是一个解决办法。同时企业也需要结合自身的业务现状来评估,如果企业已经做了数据仓库、做了数据湖,但在前述三个维度下业务仍然出现了明显的不可工作或协作瓶颈导致数据平台跟不上业务发展节奏,那这可能就是一个考虑采用 Data Mesh 的比较好的时机点;反之,如果业务本身毫无问题,也就没有改造的必要了。

据白发川介绍,目前国内外有很多企业都已经在尝试实践 Data Mesh 的架构理念,尤其是一些数据规模特别庞大的企业,他们已经碰到集中式单体数据架构的瓶颈,开始探索向面向域的分布式数据架构转变以解决问题,只是他们可能没有将这个概念抽象总结成 Data Mesh。

当提及 Data Mesh 未来应用推广道路上可能遇到的挑战时,白发川特别强调了组织架构方面可能存在挑战。如前文所述,Data Mesh 并不仅针对数据团队,也不是数据团队单独就能做好的,它其实对应探讨的是在企业的业务上下文里面一种比较好的协作方式是什么样子的,需要几个团队承担什么职责才能做好这件事,并延伸到现有的团队需要做什么样的调整,以及在这样的调整下需要一套什么样的基础设施或软件来支持他们的工作。在白发川看来,数据中台、Data Mesh 都属于所谓的“CXO 工程”,Data Mesh 也需要企业自顶向下达成共识、形成决策并通过组织结构调整提供支持,否则可能也会遭遇类似于中台战略无法在企业顺利落地的窘境。

Data Mesh 标志着大规模数据分析架构和组织范式的转变,但要加速 Data Mesh 的实现,在开源或商业工具上仍存在巨大的缺口。对比微服务有 K8s,Service Mesh 有 Istio、Linkerd,目前还没有一款合适的工具可以帮助企业快速应用 Data Mesh。虽然使用现有技术作为基本构建块也是可行的,但在成熟的基础设施工具出现之前,很多企业可能还是会选择继续观望。

From >

南宁记者曝光,可以在牛媒网站(mediabeer)进行报料。牛媒利用大数据和AI,构建中国最大最精确的记者数据库,并提供深度的记者数据。牛媒依托丰富的记者媒体资源,普通群众可以快速触达记者媒体进行爆料维权,一键减轻如何找记者的繁琐步骤,让你能把更多的注意力放在你的报料上。需要把大量的时候花在打磨报料信息、提取新闻价值上。毕竟网络维权并没有那么简单,报料人应该通过更专业的渠道,让你更精准的维护自身权益。

以上就是关于信息管理与信息系统_IBM领跑信息管理全部的内容,包括:信息管理与信息系统_IBM领跑信息管理、记者要有高度的责任感,记者的岗位职责有哪些、常用的数据可视化软件有哪些等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9477138.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-28
下一篇2023-04-28

发表评论

登录后才能评论

评论列表(0条)

    保存