BI开发的基本步骤是什么

BI开发的基本步骤是什么,第1张

专门用来支持初级用户的原始数据访问,不包括适用于专业人士的成品报告生成工具 2OLAP工具。提供多维数据管理环境,其典型的应用是对商业问题的建模与商业数据分析。OLAP也被称为多维分析 3数据挖掘(Data Mining)软件。使用诸如神经网络、规则归纳等技术,用来发现数据之间的关系,做出基于数据的推断。 4数据集市(Data Mart)和数据仓库(Data Warehouse)产品。包括数据转换、管理和存取等方面的预配置软件,通常还包括一些业务模型,如财务分析模型。 5主管信息系统(EIS,Executive Information System) 这个定义应该是比较学术了,客户多半不明白。 其实BI通俗来讲就是收集相关信息并加以分析,以帮助您做决策。成功的BI系统多采用了数据仓库技术。 然后,再看看数据仓库是什么: 数据仓库数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合 数据仓库,英文名称为Data Warehouse,可简写为DW。 数据仓库之父Bill Inmon在1991年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受——数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策(Decision Making Support)。 ◆面向主题: *** 作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织的。 ◆集成的:数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。 ◆相对稳定的:数据仓库的数据主要供企业决策分析之用,所涉及的数据 *** 作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询 *** 作,但修改和删除 *** 作很少,通常只需要定期的加载、刷新。 ◆反映历史变化:数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。 数据仓库是一个过程而不是一个项目。 数据仓库系统是一个信息提供平台,他从业务处理系统获得数据,主要以星型模型和雪花模型进行数据组织,并为用户提供各种手段从数据中获取信息和知识。 从功能结构化分,数据仓库系统至少应该包含数据获取(Data Acquisition)、数据存储(Data Storage)、数据访问(Data Access)三个关键部分。 什么是数据仓库 目前,数据仓库一词尚没有一个统一的定义,著名的数据仓库专家WHInmon在其著作《Building the Data Warehouse》一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的 *** 作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。 根据数据仓库概念的含义,数据仓库拥有以下四个特点: 1、面向主题。 *** 作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个 *** 作型信息系统相关。 2、集成的。面向事务处理的 *** 作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。 3、相对稳定的。 *** 作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用,所涉及的数据 *** 作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询 *** 作,但修改和删除 *** 作很少,通常只需要定期的加载、刷新。 4、反映历史变化。 *** 作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。 企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从产业界的角度看,数据仓库建设是一个工程,是一个过程。 整个数据仓库系统是一个包含四个层次的体系结构,具体由下图表示。 数据仓库系统体系结构 ·数据源:是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等; ·数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。 ·OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。 ·前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以数据挖掘及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。 目前,数据仓库一词尚没有一个统一的定义,著名的数据仓库专家WHInmon在其著作《Building the Data Warehouse》一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的 *** 作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。多维 数据仓库的组成 数据仓库数据库 是整个数据仓库环境的核心,是数据存放的地方和提供对数据检索的支持。相对于 *** 纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。 数据抽取工具 把数据从各种各样的存储方式中拿出来,进行必要的转化、整理,再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键,应能生成COBOL程序、MVS作业控制语言(JCL)、UNIX脚本、和SQL语句等,以访问不同的数据。数据转换都包括,删除对决策应用没有意义的数据段;转换到统一的数据名称和定义;计算统计和衍生数据;给缺值数据赋给缺省值;把不同的数据定义方式统一。 元数据 元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类,技术元数据和商业元数据。 技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括:数据源信息;数据转换的描述;数据仓库内对象和数据结构的定义;数据清理和数据更新时用的规则;源数据到目的数据的映射;用户访问权限,数据备份历史记录,数据导入历史记录,信息发布历史记录等。 商业元数据从商业业务的角度描述了数据仓库中的数据。包括:业务主题的描述,包含的数据、查询、报表; 元数据为访问数据仓库提供了一个信息目录(informationdirectory),这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心,数据仓库服务器利用他来存贮和更新数据,用户通过他来了解和访问数据。 访问工具 为用户访问数据仓库提供手段。有数据查询和报表工具;应用开发工具;管理信息系统(EIS)工具;在线分析(OLAP)工具;数据挖掘工具。 数据集市(DataMarts) 为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subjectarea)。在数据仓库的实施过程中往往可以从一个部门的数据集市着手,以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时,同一含义的字段定义一定要相容,这样再以后实施数据仓库时才不会造成大麻烦。 数据仓库管理:安全和特权管理;跟踪数据的更新;数据质量检查;管理和更新元数据;审计和报告数据仓库的使用和状态;删除数据;复制、分割和分发数据;备份和恢复;存储管理。 信息发布系统:把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。 设计数据仓库的九个步骤 1)选择合适的主题(所要解决问题的领域) 2)明确定义fact表 3)确定和确认维 4)choosingthefacts 5)计算并存储fact表中的衍生数据段 6)roundingoutthedimensiontables 7)choosingthedurationofthedatabase 8)theneedtotrackslowlychangingdimensions 9)确定查询优先级和查询模式。 技术上 硬件平台:数据仓库的硬盘容量通常要是 *** 作数据库硬盘容量的2-3倍。通常大型机具有更可靠的性能和和稳定性,也容易与历史遗留的系统结合在一起;而PC服务器或UNIX服务器更加灵活,容易 *** 作和提供动态生成查询请求进行查询的能力。选择硬件平台时要考虑的问题:是否提供并行的I/O吞吐?对多CPU的支持能力如何? 数据仓库DBMS:他的存储大数据量的能力、查询的性能、和对并行处理的支持如何。 网络结构:数据仓库的实施在那部分网络段上会产生大量的数据通信,需不需要对网络结构进行改进。 实现上 建立数据仓库的步骤 1)收集和分析业务需求 2)建立数据模型和数据仓库的物理设计 3)定义数据源 4)选择数据仓库技术和平台 5)从 *** 作型数据库中抽取、净化、和转换数据到数据仓库 6)选择访问和报表工具 7)选择数据库连接软件 8)选择数据分析和数据展示软件 9)更新数据仓库 数据抽取、清理、转换、和移植 1)数据转换工具要能从各种不同的数据源中读取数据。 2)支持平面文件、索引文件、和legacyDBMS。 3)能以不同类型数据源为输入整合数据。 4)具有规范的数据访问接口 5)最好具有从数据字典中读取数据的能力 6)工具生成的代码必须是在开发环境中可维护的 7)能只抽取满足指定条件的数据,和源数据的指定部分 8)能在抽取中进行数据类型转换和字符集转换 9)能在抽取的过程中计算生成衍生字段 10)能让数据仓库管理系统自动调用以定期进行数据抽取工作,或能将结果生成平面文件 11)必须对软件供应商的生命力和产品支持能力进行仔细评估 主要数据抽取工具供应商:PrismsolutionsCarleton'sPASSPORTInformationBuildersInc's EDA/SQLSASInstituteInc 数据仓库带来了什么 每一家公司都有自己的数据。并且,许多公司在计算机系统中储存有大量的数据,记录着企业购买、销售、生产过程中的大量信息和客户的信息。通常这些数据都储存在许多不同的地方。 使用数据仓库之后,企业将所有收集来的信息存放在一个唯一的地方——数据仓库。仓库中的数据按照一定的方式组织,从而使得信息容易存取并且有使用价值。 目前,已经开发出一些专门的软件工具,使数据仓库的过程实现可以半自动化,帮助企业将数据倒入数据仓库,并使用那些已经存入仓库的数据。 数据仓库给组织带来了巨大的变化。数据仓库的建立给企业带来了一些新的工作流程,其他的流程也因此而改变。 数据仓库为企业带来了一些“以数据为基础的知识”,它们主要应用于对市场战略的评价,和为企业发现新的市场商机,同时,也用来控制库存、检查生产方法和定义客户群。 每一家公司都有自己的数据。数据仓库将企业的数据按照特定的方式组织,从而产生新的商业知识,并为企业的运作带来新的视角。 为何要建立数据仓库 计算机发展的早期,人们已经提出了建立数据仓库的构想。“数据仓库”一词最早是在1900年,由Bill Inmon先生提出的,其描述如下:数据仓库是为支持企业决策而特别设计和建立的数据集合。 企业建立数据仓库是为了填补现有数据存储形式已经不能满足信息分析的需要。数据仓库理论中的一个核心理念就是:事务型数据和决策支持型数据的处理性能不同。 企业在它们的事务 *** 作收集数据。在企业运作过程中:随着定货、销售记录的进行,这些事务型数据也连续的产生。为了引入数据,我们必须优化事务型数据库。 处理决策支持型数据时,一些问题经常会被提出:哪类客户会购买哪类产品?促销后销售额会变化多少?价格变化后或者商店地址变化后销售额又会变化多少呢?在某一段时间内,相对其他产品来说哪类产品特别容易卖呢?哪些客户增加了他们的购买额?哪些客户又削减了他们的购买额呢? 事务型数据库可以为这些问题作出解答,但是它所给出的答案往往并不能让人十分满意。在运用有限的计算机资源时常常存在着竞争。在增加新信息的时候我们需要事务型数据库是空闲的。而在解答一系列具体的有关信息分析的问题的时候,系统处理新数据的有效性又会被大大降低。另一个问题就在于事务型数据总是在动态的变化之中的。决策支持型处理需要相对稳定的数据,从而问题都能得到一致连续的解答。 数据仓库的解决方法包括:将决策支持型数据处理从事务型数据处理中分离出来。数据按照一定的周期(通常在每晚或者每周末),从事务型数据库中导入决策支持型数据库——既“数据仓库”。数据仓库是按回答企业某方面的问题来分“主题”组织数据的,这是最有效的数据组织方式。 数据仓库和数据集市 有关决策支持型数据库的数据集市是面向企业中的某个部门或是项目小组的。一些专家顾问将数据集市的建造描述为建立数据仓库全过程中的一步。首先,一个储存企业全部信息的数据仓库被创建,其中,数据均具备有组织的、一致的、不变的格式。数据集市随后被创立,其目的是为不同部门提供他们所需要的那部分信息。数据仓库聚集了所有详细的信息,而数据集市中的数据则是针对用户们的特定需求总结而出的。 而另外一些专家则认为数据集市的建立并不需要首先建立一个数据仓库。在这个模型中,数据直接由事务型数据库转入数据集市中。一个公司可能建立有多个数据集市,而彼此之间毫无联系。 这种不在建立数据仓库的基础上创建数据集市的方式会更便宜、更快速,因为它的规模更加易于管理。 第二种观点的缺陷在于无法实现最初创建数据仓库的最主要的目的——将企业所有的数据统一为一致的格式。现有的事务处理系统的数据往往是不一致、冗余的。

Pentaho

简介

Pentaho是一个以工作 流为核心的、强调面向解决方案而非工具组件的BI套件,整合了多个开源项目,目标是和商业BI相抗衡。它偏向于与业务流程相结合的BI解决方案,侧重于大 中型企业应用。它允许商业分析人员或开发人员创建报表,仪表盘,分析模型,商业规则和 BI 流程。[1]

pentaho是世界上最流行的开源商务智能软件,以工作流为核心的、强调面向解决方案而非工具组件的BI套件,整合了多个开源项目,目标是和商业BI相抗衡。它是一个基于java平台的商业智能(Business Intelligence,BI)套件,之所以说是套件是因为它包括一个web server平台和几个工具软件:报表,分析,图表,数据集成,数据挖掘等,可以说包括了商务智能的方方面面。

Pentaho是一个它偏向于与业务流程相结合的BI解决方案,侧重于大 中型企业应用。它允许商业分析人员或开发人员创建报表,仪表盘,分析模型,商业规则和 BI 流程。

>

一、方便客户关系管理

BI软件可以帮助公司识别、吸引和留住有价值的客户,使用BI应用程序对客户进行分类,分析客户行为,发现关键客户和潜在客户,然后为客户提供个性化服务和交叉销售。以提高客户满意度和保持力

二、 方便做利润分析

BI数据分析软件有利于帮助企业了解那种产品最好销售,哪个渠道销量最高,以及什么样的销售方式最能让客户接受。

三、降低经营成本

BI数据分析软件早就已经实现了多个数据源不同使用的一种效果,可以真正的实现报表升级的作用,能够有效的降低生存的成本,而且还方便日常生活的分析使用。

同时,降低人工处理的时间也能大压缩成本,在数据的早期处理方式上,还是主要以人工的形式为主,只要是数据的收集、整合以及录入的工作上都要花费很大的时间,就拿简单的复制、粘贴来说,都是需要很多的时间,BI软件可以帮助企业实现数据的自动化更新,减少人工 *** 作的时间。

四、帮助企业了解自己的伙伴

可以对客户的行为分析,企业合作伙伴的资源分析,能不能帮助企业很好的实现生产和资源的合理化,对于企业来说也是至关重要的。当我们了解了BI数据软件的好处,企业在选择BI数据软件时也应该注意一些问题。

其他方面例如维护方便、 *** 作简单、数据直观明了、有效降低成本等等。

报表,只是数据的一种展现工具,是静态的、固化的。报表工具提供基础的分析功能(排序、总计、方差等),报表目的是帮助用户掌握和了解数据,让使用者通过观察企业数据,知道当下发生了什么事情,着重于短期的运作支持。

BI,重点在于商业数据的分析,它是立体多方面的,集成了数据统计、数据展示、数据分析和挖掘、数据预警等一系列整体的解决方案。在企业经营的过程中,决策者不仅仅需要知道发生了什么,还要知道为什么发生,以及通过已知去推断未来可能会发生什么。

BI侧重于数据分析,是业务、数据、数据价值应用的过程,是一整套完整的解决方案。

传统的BI包含“数据仓库ETLOLAP报表/可视化”这4部分,分别能够进行“数据存储、数据加工、数据分析和数据展示”,所以报表和BI不能互相替代,报表侧重数据展现,报表只是BI中的一个组成模块。

而一般来说,BI工具也已经包含了报表工具的功能。

自商业智能这一领域被开拓以来,国内外BI工具层出不穷。IBM cognos、SAP BO、oracle BIEE、Microsoft BI、MicroStrategy 、思迈特 Smartbi、奥威智动 Power-BI等都是传统的BI软件,而Style Intelligence、Qliktech 大数据魔镜、QlikView、BDP商业数据平台、tableau、象形科技的ETHINK 、FineBI商业智能软件、永洪科技 Yonghong Z-Suite等是下一代BI的代表。

传统BI工具基于数据驱动,以瀑布开发模式建设BI系统。传统BI工具需要预先形成CUBE,交付时间在半年左右,如果需求发生变化,相关模块调整周期按月计算。通常传统BI工具模块较多, *** 作复杂,无法形成自服务BI。

新一代BI软件区别于传统BI软件,基于业务驱动,无需预生成Cube,交付周期按周、月计算,,能够形成自服务BI系统。对于需求变化,交付周期按天、周计算,相关模块调整不大。Style Intelligence、Yonghong Z-Suite、tableau、QlikView等新一代BI工具带有数据集市,可以处理海量数据。

BI所有发展趋势中首要的一个趋势是各种各样的数据在不断地增长。这将迫使BI软件商提供那些真正能够处理大数据的解决方案。包含数据集市的QlikView等BI软件基于Ad-hoc模式的解决方案包括内存分析技术、列式存储数据库技术以及BI性能的提升等将会成为其中关键的因素。

bi工具有思迈特软件Smartbi、 StyleIntelligence、 Qliktech大数据魔镜、WonderBI、QlikView等等。

BI工具商业智能( Business Intelligence )分析工具的英文缩写。BI ( BusinessIntelligence )即商业智能,它是一完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

商业智能的概念最早在1996年提出。当时将商业智能定义为-类铀数据仓库(或数据集市)、查询报表、 数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。

数据分析有没有用,来试试思迈特软件Smartbi就知道了,思迈特软件Smartbi产品功能设计全面,涵盖数据提取、数据管理、数据分析、数据共享四个环节,帮助客户从数据的角度描述业务现状,分析业务原因,预测业务趋势,推动业务变革。

以上就是关于BI开发的基本步骤是什么全部的内容,包括:BI开发的基本步骤是什么、BI软件有哪些、用BI做数据分析有什么优势等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zz/10628414.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-10
下一篇2023-05-10

发表评论

登录后才能评论

评论列表(0条)

    保存