各位大哥,领导安排小弟为现有报表平台的国产化替换做国产数据库的调研,哪家比较靠谱?

各位大哥,领导安排小弟为现有报表平台的国产化替换做国产数据库的调研,哪家比较靠谱?,第1张

既然是报表平台应该就是OLAP了,数据量/规模有多大?对性能要求如何?

之前刚好作类似的调研,现阶段来说分析型的MPP数据库是比较好的选择,扩展性、性能都比较好。

楼主提到的应该是国内最老牌的三家国产数据库厂商都有对应的MPP分析型数据库产品。就我个人来说南大通用GBase似乎更合适一点。

-------------------------------分割线-----------------------------------------

首先三家的OLAP产品:

人大金仓:

KADB,MPP分析型数据库,主要在公安、网安、军工等行业应用,缺点是集群规模扩展能力较差,最多支持50个节点,能够支撑的数据规模有限。

武汉达梦:

DM TDD,实现了计算、日志、存储层分离的share-nothing架构,但管理和计算节点绑定,存在网络瓶颈、集群规模受限。同样不支持超过100个节点的集群。

南大通用:

GBase 8a MPP,实现了类似于hadoop2.0的share-nothing联邦架构,计算、管理节点集群灵活部署,扩展性很强并且更加灵活,并且集群规模最大支持超过300个节点,在金融行业应用案例也很多,包括农行、中行都有在用。

-------------------------------分割线-----------------------------------------

下面简单介绍下GBase 8a MPP

南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster,它是在 GBase 8a 列存储数据库基础上开发的一款 Share Nothing 架构的分布式并行数据库集群,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算平台,并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统。

GBase 8a MPP Cluster 具备以下技术特征:

1) 低硬件成本:完全使用 x86 架构的 PC Server,不需要昂贵的 Unix 服务器和磁盘阵列;

2) 集群架构与部署:完全并行的 MPP + Share Nothing 的分布式架构,采用多活 Coordinator 节点、对等数据节点的两级部署结构。 Coordinator 节点支持最多部署 32 个,数据节点支持最多部署 300个,数据量支持 15PB。

3) 海量数据分布压缩存储:可处理 PB 级别以上的结构化数据,采用hash 或 random 分布策略进行数据分布式存储。同时采用先进的压缩算法,减少存储数据所需的空间,可以将所用空间减少 1~20 倍,并相应地提高了 I/O 性能;

4) 数据加载高效性:基于策略的数据加载模式,集群整体加载速度随节点数增加线性增长;

5) 高扩展、高可靠:支持集群节点的在线扩容和缩容,效率更高,对业务的影响更小。支持全量、增量的备份/恢复。

6) 高可用、易维护:数据通过最多 2 个副本提供冗余保护,自动故障探测和管理,自动同步元数据和业务数据。提供图形化监控工具和企业管理器等管理工具,简化管理员对数据库的管理工作;

7) 高并发:读写没有互斥,支持简化模式的 MVCC,支持数据的边加载边查询,单个节点并发能力大于 300 用户;

8) 行列转换存储:提供行列转换存储方案,从而提高了列存数据库特殊查询场景的查询响应耗时;

9) 标准化:支持 SQL92 标准,支持 ODBC、JDBC、ADO.NET 等国际接口规范。

10) 数据节点多分片:在一个数据节点上可同时部署多个数据分片;单数据节点数据分片数量支持最多 32 个。

11) 灵活的数据分布:用户可以按照业务场景的需求,自定义数据分布策略,从而在性能、可靠性和灵活性间获得最佳匹配。

12) 异步消息:Coornator 默认采用异步消息模式与数据节点通信,支持高达 300 节点的集群规模。

第一次面试的时候是笔试和两个主管的面试,第二次是电脑答题,如果通过的话,两天左右会接到体检等准备入职的通知电话。如果17号去面试还没有任何消息的话,希望可能不大了,有勇气的话不妨可以打电话去问问!加油!!

盘点政府推动大数据应用及发展的举措

一、政府:推动大数据应用的最关键力量

(一)政府掌握大量最具应用价值的核心数据,是推动大数据应用的最关键力量

根据麦肯锡大数据研究报告指出, 各个行业利用大数据价值的难易度以及发展潜力 对比下,政府利用大数据难度最低而潜力最大。

大数据

另一方面政府开放大数据运用已经是大势所趋:

1、 政府掌握了大量最具应用价值的核心数据。 过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作,后台积累了大量的数据,而这些数据和公众的生产生活息息相关。有研究表明政府所掌握的数据使政府成为了一个国家最重要的信息保有者,有百分之七十到八十的核心数据存在于政府的后台 。

2、 开放数据本身就是政府在大数据时代提供的一项公共服务。 政府数据本质上是国家机关在履行职责时所获取的数据,采集这些数据的经费来自于公共财政,因而这些数据是公共产品,归全社会所有,应取之于民,用之于民。

3、 政府开放数据供社会进行增值开放和创新应用,推动经济增长乃至整个经济增长方式的转型。 数据是互联网创新的重要基础,如果政府不开放这一部分数据,很多创新应用没有数据作为支持,数据开发者能利用政府开放的数据,提供更好的服务,创造更多的价值, 这个过程能够提高整个国家在大数据时代的竞争力。

4、 政府开放数据推动经济增长获得的税收高于单纯卖数据获得的收入。 201 年世界经合组织在关于开放政府数据的报告中提到政府通过开放数据推动经济增长,从而获得的税收收入远高于单卖数据所能获得收入。开放数据激发经济活力从而得到税收提升,这是一个良 性循环,更是一个能创造巨大公共价值的全局性的战略。

(二) 国内外政府开放数据的情况

在 2009 年奥巴马签署开放政府数据的行政命令后,这些年来开放政府数据已成为了世界性的一个趋势。美国联邦数据平台 Data.gov 上线后,在美洲、欧洲、亚洲等地,开放政府数据已成为了政府的一项重要工作。美国联邦政府的开放政府数据平台开放了来自多个领 域的 13 万个数据集的数据。这些领域包括图中所列的农业、商业、气候、生态、教育、能源、金融、卫生、科研等十多个主题。这些主题下的数据都是美国联邦政府的各个部委所开放的。英国、加拿大、新西兰等国在 2009 年之后都建立起了政府数据开放平台,成为 了国际信息化和大数据领域的一个重要趋势。

大数据

在我国, 2011 年香港特区政府上线了 data.gov.hk,称为香港政府资料一线通。上海在 2012年 6 月推出了中国大陆第一个数据开放平台。之后,北京、武汉、无锡、佛山南海等城市也都上线了自己的数据平台。

大数据

(三)、 大数据对于政府治理具有极大的价值

大数据其实对政府的治理带来了全新的价值,无论是对宏观经济的决策能力、产业聚集能力、协同治理能力、社会管理能力、公众服务能力、快速响应能力的提升,大数据都可以在有很大层面上帮助政府治理。

大数据大数据

(四)、大数据上升至国家战略成为共识。

大数据时代,对大数据的开发、利用与保护的争夺日趋激烈,制信权成为继制陆权、制海权、制空权之后的新制权,大数据处理能力成为强国弱国区分的又一重要指标。国际上以美国为代表的发达国家纷纷布局大数据产业,相继推出大数据相关政策,大力支持大数据产 业在本国的发展。以美国为例,美国从开展关键技术研究、推动大数据应用和开放政府数据三方面布局大数据产业,尤其在开放政府数据方面非常积极,通过 Data.gov开放 37 万个数据集,并开放网站的 API 和源代码,提供上千个数据应用。我们认为,大数据未来将 引发新一轮大国竞争,大数据对整个世界的影响力会呈现爆发性增长趋势,因此包括我国在内的国家会在政策支持力度上不断提升,大数据战略将上升至国家战略已毋庸臵疑。

大数据

(五)、 我国 高度重视大数据未来发展

自去年 3 月“大数据”首次出现在《政府工作报告》中以来,国务院常务会议一年内 6次提及大数据运用。近期在 6 月 17 日的国务院常务会议上,李克强总理再次强调“我们正在推进简政放权,放管结合、优化服务,而大数据手段的运用十分重要。” 7 月 1 日, 国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。

大数据

大数据大数据

(六). 各部委行动时间表已经确,我国大数据发展面临历史性机遇

值得注意的是,近期国务院出台文件对各个部委推进大数据任务制定了明确的时间表,很多推进工作任务要求在 2015 年 12 月底前出台政策并实施,近期将是我国大数据发展政策出台的密集期。

表 3: 各部委推进大数据应用时间表

序号工作任务负责单位时间进度1加快建立公民、法人和其他组织统一社会信用代码制度。发展改革委、中央编办、公安部、民政部、人民银行、税务总局、工商总局、质检总局2015 年 12 月底前出台并实施2全面实行工商营业执照、组织机构代码证和税务登记证“三证合一”、 “一照一码”登记制度改革。工商总局、中央编办、发展改革委、质检总局、税务总局2015 年 12 月底前实施3建立多部门网上项目并联审批平台,实现跨部门、跨层级项目审批、核准、备案的“统一受理、同步审查、信息共享、透明公开”。发展改革委会同有关部门2015 年 12 月底前完成4推动政府部门整合相关信息,紧密结合企业需求,利用网站和微博、微信等新兴媒体为企业提供服务。网信办、工业和信息化部持续实施5研究制定在财政资金补助、政府采购、政府购买服务、政府投资工程建设招投标过程中使用信用信息和信用报告的政策措施。财政部、发展改革委2015 年 12 月底前出台并实施6充分运用大数据技术,改进经济运行监测预测和风险预警,并及时向社会发布相关信息,合理引导市场预期。发展改革委、统计局持续实施7支持银行、证券、信托、融资租赁、担保、保险等专业服务机构和行业协会、商会运用大数据为企业提供服务。人民银行、银监会、证监会、保监会、民政部持续实施8健全事中事后监管机制,汇总整合和关联分析有关数据,构建大数据监管模型,提升政府科学决策和风险预判能力。各市场监管部门2015 年 12 月底前取得阶段性成果9在办理行政许可等环节全面建立市场主体准入前信用承诺制度。 信用承诺向社会公开,并纳入市场主体信用记录。各行业主管部门2015 年广泛开展试点, 2017 年 12 月底前完成10加快建设地方信用信息共享交换平台、部门和行业信用信息系统,通过国家统一的信用信息共享交换平台实现互联共享。各省级人民政府,各有关部门2016 年 12 月底前完成11建立健全失信联合惩戒机制,将使用信用信息和信用报告嵌入行政管理和公共服务的各领域、各环节,作为必要条件或重要参考依据。在各领域建立跨部门联动响应和失信约束机制。建立各行业“黑名单”制度和市场退出机制。推动将申请人良好的信用状况作为各类行政许可的必备条件。各有关部门,各省级人民政府2015 年 12 月底前取得阶段性成果12建立产品信息溯源制度,加强对食品、药品、农产品、日用消费品、特种设备、地理标志保护产品等重要产品的监督管理,利用物联网、射频识别等信息技术,建立产品质量追溯体系,形成来源可查、去向可追、责任可究的信息链条。商务部、网信办会同食品药品监管总局、农业部、质检总局、工业和信息化部2015 年 12 月底前出台并实施13加强对电子商务平台的监督管理,加强电子商务信息采集和分析,指导开展电子商务网站可信认证服务,推广应用网站可信标识,推进电子商务可信交易环境建设。健全权益保护和争议调处机制。工商总局、商务部、网信办、工业和信息化部持续实施14进一步加大政府信息公开和数据开放力度。除法律法规另有规定外,将行政许可、行政处罚等信息自作出行政决定之日起 7 个工作日内上网公开。各有关部门,各省级人民政府持续实施15加快实施经营异常名录制度和严重违法失信企业名单制度。建设国家企业信用信息公示系统,依法对企业注册登记、行政许可、行政处罚等基本信用信息以及企业年度报告、经营异常名录和严重违法失信企业名单进行公示,并与国家统一的信用信息共享交换平台实现有机对接和信息共享。工商总局、其他有关部门,各省级人民政府持续实施16支持探索开展社会化的信用信息公示服务。建设“信用中国 ”网站,归集整合各地区、各部门掌握的应向社会公开的信用信息,实现信用信息一站式查询,方便社会了解市场主体信用状况。各级政府及其部门网站要与 “信用中国 ”网站连接,并将本单位政务公开信息和相关市场主体违法违规信息在“信用中国 ”网站公开。发展改革委、人民银行、其他有关部门,地方各级人民政府2015 年 12 月底前完成17推动各地区、各部门已建、在建信息系统互联互通和信息交换共享。在部门信息系统项目审批和验收环节,进一步强化对信息共享的要求。发展改革委、其他有关部门持续实施18健全国家电子政务网络,加快推进国家政务信息化工程建设,统筹建立人口、法人单位、自然资源和空间地理、宏观经济等国家信息资源库,加快建设完善国家重要信息系统。发展改革委、其他有关部门分年度推进实施, 2020 年前基本建成19加强对市场主体相关信息的记录,形成信用档案。对严重违法失信的市场主体,按照有关规定列入“黑名单”,并将相关信息纳入企业信用信息公示系统和国家统一的信用信息共享交换平台。各有关部门2015 年 12 月底前实施20探索建立政府信息资源目录。各有关部门2016 年 12 月底前出台目录编制指南21引导征信机构根据市场需求,大力加强信用服务产品创新,进一步扩大信用报告在行政管理和公共服务及银行、证券、保险等领域的应用。发展改革委、人民银行、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果22落实和完善支持大数据产业发展的财税、金融、产业、人才等政策,推动大数据产业加快发展。发展改革委、工业和信息化部、财政部、人力资源社会保障部、人民银行、网信办、银监会、证监会、保监会2017 年 12 月底前取得阶段性成果23加快研究完善规范电子政务,监管信息跨境流动,保护国家经济安全、信息安全,以及保护企业商业秘密、个人隐私方面的管理制度,加快制定出台相关法律法规。网信办、公安部、工商总局、工业和信息化部、发展改革委等部门会同法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)24推动出台相关法规,对政府部门在行政管理、公共服务中使用信用信息和信用报告作出规定,为联合惩戒市场主体违法失信行为提供依据。发展改革委、人民银行、法制办2017 年 12 月底前出台(涉及法律、行政法规的,按照立法程序推进)25建立大数据标准体系,研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范。工业和信息化部、国家标准委、发展改革委、质检总局、网信办、统计局2020 年前分步出台并实施26推动实施大数据示范应用工程,在工商登记、统计调查、质量监管、竞争执法、消费维权等领域率先开展示范应用工程,实现大数据汇聚整合。在宏观管理、税收征缴、资源利用与环境保护、食品药品安全、安全生产、信用体系建设、健康医疗、劳动保障、教育文化、交通旅游、金融服务、中小企业服务、工业制造、现代农业、商贸物流、社会综合治理、收入分配调节等领域实施大数据示范应用工程。


欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/sjk/9983267.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-04
下一篇2023-05-04

发表评论

登录后才能评论

评论列表(0条)

    保存