数据分析架构及方法

一、以往的数据分析在今天的各类型企业中，数据分析岗位已经基本得到普及和认可，这个岗位的核心任务往往是支撑运营和营销，将企业内部的数据，客户的数据进行分析和总结，形成以往工作情况的量化表现，以及客户的行为趋势或特征等。

如果从更宏观的角度来认识数据分析岗位的话，每一个数据分析人员都明白，其实数据分析岗位要达到的目标就是希望通过数据来发现潜在的规律，进而帮助预测未来，这一点同数据挖掘的目标一致。那么为什么在大多数公司都已经具备的数据分析岗位基础上，今天却还是在反复提到数据挖掘这个概念，我们就需要来看看数据分析都有哪些是没有做到的内容。

1数据分散

多数数据分析岗位在公司中的岗位设置是隶属在单一业务部门中作为一个支撑岗，只有少数的公司是将数据分析作为一个独立的部门。其差异性在于，前者的数据分析所能分析的内容仅限于自身部门所输出的指标，比如投诉部门只看投诉处理过程中的数据，销售部门只看销售过程中的数据，一旦涉及到需要将各类指标汇总分析的情况，这种组织架构就会带来极大的负面影响，由于不同部门具备自己部门指标导出的权限，且与其他部门的配合并不影响绩效任务，所以这种跨部门采集数据的过程往往效率奇低。而数据分析最关键的就在于汇集更多的数据和更多的维度来发现规律，所以以往的数据分析多是做最基础的对比分析以及帕累托分析，少有使用算法来对数据进行挖掘的动作，因为越少的指标以及越少的维度将会使得算法发挥的效果越差。

2指标维度少

在以往的企业中，数字化管理更多的体现在日常运维工作中，对于客户端的数据采集虽然从很早以前就已经开展，CRM系统的诞生已经有很久的时间了，但是一直以来客户端的数据维度却十分缺失，其原因在于上述这些途径所获得的数据多为客户与企业产生交互之后到交互结束之间的数据，但是这段时间只是这个客户日常生活中很少的一部分内容，客户在微博，微信上的行为特点，关注的领域或是品牌，自身的性格特点等，可以说一个客户真正的特点，习惯，仅通过与企业的交互是无从知晓的，因此难以挖掘出有效的结论。

3少使用算法

在上述制约条件下，可想而知数据分析人员对于算法的使用必然是较少的，因为数据分析依赖于大量的指标、维度以及数据量，没有这三个条件是难以发挥算法的价值的，而在排除掉算法后，数据分析人员更多的只能是针对有限的数据做最为简单的分析方法，得出浅显易懂的分析结论，为企业带来的价值则可以想象。

4数据分析系统较弱目前的数据分析多采用excel，部分数据分析人员能够使用到R或SPSS等软件，但当数据量达到TB或PB单位级别时，这些软件在运算时将会消耗大量时间，同时原始的数据库系统在导出数据时所花费的时间也是相当长的，因此对大数据量的分析工作，常规的系统支撑难以到达要求。

二、技术革命与数据挖掘

得益于互联网对于人们生活的影响逐渐增大，我们发现数据正在疯狂的增长。今天一个人一天的时间中有将近一半是在互联网中度过的，一方面这些使用互联网的交互都是能够被捕捉记录的，一方面由于碎片化时间的使用，客户与企业交互的机会也变的越来越频繁，进一步保障了客户数据的丰富。同时在大数据技术的支撑下，今天的系统能够允许对这些大规模的数据量进行高效的分析。

因此数据分析人员也能够开始使用一些较为抽象的算法来对数据做更为丰富的分析。所以数据分析正式进入到了数据分析2.0的时代，也就是数据挖掘的时代了。

三、数据处理流程

数据分析也即是数据处理的过程，这个过程是由三个关键环节所组成：数据采集，数据分析方法选取，数据分析主题选择。这三个关键环节呈现金字塔形，其中数据采集是最底层，而数据分析主题选择是最上层。

四、数据采集

数据采集即是如何将数据记录下来的环节。在这个环节中需要着重说明的是两个原则，即全量而非抽样，以及多维而非单维。今天的技术革命和数据分析2.0主要就是体现在这个两个层面上。

1全量而非抽样由于系统分析速度以及数据导出速度的制约，在非大数据系统支撑的公司中，做数据分析的人员也是很少能够做到完全全量的对数据进行收集和分析。在未来这将不再成为问题。

2多维而非单维另一方面则在于数据的维度上，这在前边同样提及。总之针对客户行为实现5W1H的全面细化，将交互过程的什么时间、什么地点、什么人、因为什么原因、做了什么事情全面记录下来，并将每一个板块进行细化，时间可以从起始时间、结束时间、中断时间、周期间隔时间等细分；地点可以从地市、小区、气候等地理特征、渠道等细分；人可以从多渠道注册账号、家庭成员、薪资、个人成长阶段等细分；原因可以从爱好、人生大事、需求层级等细分；事情可以从主题、步骤、质量、效率等细分。通过这些细分维度，增加分析的多样性，从而挖掘规律。

五、数据分析方法选取数据分析方法是通过什么方法去组合数据从而展现规律的环节。从根本目的上来说，数据分析的任务在于抽象数据形成有业务意义的结论。因为单纯的数据是毫无意义的，直接看数据是没有办法发现其中的规律的，只有通过使用分析方法将数据抽象处理后，人们才能看出隐藏在数据背后的规律。

数据分析方法选取是整个数据处理过程的核心，一般从分析的方法复杂度上来讲，我将其分为三个层级，即常规分析方法，统计学分析方法跟自建模型。我之所以这样区分有两个层面上的考虑，分别是抽象程度以及定制程度。

其中抽象程度是说，有些数据不需要加工，直接转成图形的方式呈现出来，就能够表现出业务人员所需要的业务意义，但有些业务需求，直接把数据转化成图形是难以看出来的，需要建立数据模型，将多个指标或一个指标的多个维度进行重组，最终产生出新的数据来，那么形成的这个抽象的结果就是业务人员所需要的业务结论了。基于这个原则，可以划分出常规分析方法和非常规分析方法。

那么另一个层面是定制程度，到今天数学的发展已经有很长的时间了，其中一些经典的分析方法已经沉淀，他们可以通用在多用分析目的中，适用于多种业务结论中，这些分析方法就属于通用分析方法，但有些业务需求确实少见，它所需要的分析方法就不可能完全基于通用方法，因此就会形成独立的分析方法，也就是专门的数学建模，这种情况下所形成的数学模型都是专门为这个业务主题定制的，因此无法适用于多个主题，这类分析方法就属于高度定制的，因此基于这一原则，将非常规分析方法细分为统计学分析方法和自建模型类。

1常规分析方法常规分析方法不对数据做抽象的处理，主要是直接呈现原始数据，多用于针对固定的指标、且周期性的分析主题。直接通过原始数据来呈现业务意义，主要是通过趋势分析和占比分析来呈现，其分析方法对应同环比及帕累托分析这两类。同环比分析，其核心目的在于呈现本期与往期之间的差异，如销售量增长趋势；而帕累托分析则是呈现单一维度中的各个要素占比的排名，比如各个地市中本期的销售量增长趋势的排名，以及前百分之八十的增长量都由哪几个地市贡献这样的结论。常规分析方法已经成为最为基础的分析方法，在此也不详细介绍了。

2统计学分析方法统计学分析方法能够基于以往数据的规律来推导未来的趋势，其中可以分为多种规律总结的方式。根据原理多分为以下几大类，包括有目标结论的有指导学习算法，和没有目标结论的无指导学习算法，以及回归分析。

其中有指导的学习算法简单说就是有历史数据里边已经给出一个目标结论，然后分析当各个变量达到什么情况时，就会产生目标结论。比如我们想判断各项指标需要达到什么水平时我们才认定这个人患有心脏病的话，就可以把大量的心脏病人的各项指标数据和没有心脏病的正常人的各项指标数据都输入到系统中，目标结论就是是否有心脏病，变量就是各项指标数据，系统根据这些数据算出一个函数，这个函数能够恰当的描述各个指标的数据与最终这个是否是心脏病人之间的关系，也就是当各个指标达到什么临界值时，这个人就有心脏病的判断，这样以后再来病人，我们就可以根据各项指标的临界值。这个案例中的函数就是算法本身了，这其中的算法逻辑有很多种，包括常见的贝叶斯分类、决策树、随机森林树以及支持向量机等，有兴趣的朋友可以在网上看看各种算法的逻辑是怎么样的。

另外无指导的学习算法因为没有一个给定的目标结论，因此是将指标之中所有有类似属性的数据分别合并在一起，形成聚类的结果。比如最经典的啤酒与尿布分析，业务人员希望了解啤酒跟什么搭配在一起卖会更容易让大家接受，因此需要把所有的购买数据都放进来，然后计算后，得出其他各个商品与啤酒的关联程度或者是距离远近，也就是同时购买了啤酒的人群中，都有购买哪些其他的商品，然后会输出多种结果，比如尿布或者牛肉或者酸奶或者花生米等等，这每个商品都可以成为一个聚类结果，由于没有目标结论，因此这些聚类结果都可以参考，之后就是货品摆放人员尝试各种聚类结果来看效果提升程度。在这个案例中各个商品与啤酒的关联程度或者是距离远近就是算法本身了，这其中的逻辑也有很多中，包括Apriori等关联规则、聚类算法等。

另外还有一大类是回归分析，简单说就是几个自变量加减乘除后就能得出因变量来，这样就可以推算未来因变量会是多少了。比如我们想知道活动覆盖率、产品价格、客户薪资水平、客户活跃度等指标与购买量是否有关系，以及如果有关系，那么能不能给出一个等式来，把这几个指标的数据输入进去后，就能够得到购买量，这个时候就需要回归分析了，通过把这些指标以及购买量输入系统，运算后即可分别得出，这些指标对购买量有没有作用，以及如果有作用，那么各个指标应该如何计算才能得出购买量来。回归分析包括线性及非线性回归分析等算法。

统计学分析方法还有很多，不过在今天多用上述几大类分析方法，另外在各个分析方法中，又有很多的不同算法，这部分也是需要分析人员去多多掌握的。

3自建模型自建模型是在分析方法中最为高阶也是最具有挖掘价值的，在今天多用于金融领域，甚至业界专门为这个人群起了一个名字叫做宽客，这群人就是靠数学模型来分析金融市场。由于统计学分析方法所使用的算法也是具有局限性的，虽然统计学分析方法能够通用在各种场景中，但是它存在不精准的问题，在有指导和没有指导的学习算法中，得出的结论多为含有多体现在结论不精准上，而在金融这种锱铢必较的领域中，这种算法显然不能达到需求的精准度，因此数学家在这个领域中专门自建模型，来输入可以获得数据，得出投资建议来。在统计学分析方法中，回归分析最接近于数学模型的，但公式的复杂程度有限，而数学模型是完全自由的，能够将指标进行任意的组合，确保最终结论的有效性。

六、数据分析主题选取

在数据分析方法的基础上，进一步是将分析方法应用在业务需求中，基于业务主题的分析可以涉及太多的领域，从客户的参与活动的转化率，到客户的留存时长分析，再到内部的各环节衔接的及时率和准确度等等，每一种都有独特的指标和维度的要求，以及分析方法的要求，以我个人的经验来看，主要分析主题都是围绕着营销、运营、客户这三大角度来开展的。

1营销/运营分析营销运营分析多从过程及最终的成效上来进行分析，包括营销活动从发布到客户产生购买的过程的分析，运营从客户开始使用到停止使用为止的过程中的分析，前者更倾向于分析客户行为的变动趋势，以及不同类型的客户之间的行为差异，后者更倾向于分析在过程中服务的及时率和有效率，以及不同类型的客户之间对于服务需求的差异。

在针对这部分分析主题时，多采用常规分析方法，通过同环比以及帕累托来呈现简单的变动规律以及主要类型的客户，但通过统计学分析方法，营销分析可以根据有指导的学习算法，得出营销成功与营销失败之间的客户特征的差异，而运营分析则可以根据无指导的学习算法，得出哪些特征的客户对哪些服务是有突出的需求的，另外营销和运营分析都可以通过回归分析来判断，各项绩效指标中，哪些指标是对购买以及满意度有直接影响的。通过这些深入的挖掘，可以帮助指导营销及运营人员更好的完成任务。

2客户分析客户分析除了与营销和运营数据关联分析时候使用，另外单独对于客户特征的分析也是有很大价值的。这一部分分析更多需要通过统计学分析方法中的有指导和无指导的学习算法，一方面针对高价值客户，通过有指导的学习算法，能够看到哪些特征能够影响到客户的价值高低，从而为企业锁定目标客户提供指导；另一方面针对全体客户，通过无指导的学习算法，能够看到客户可以大概分为哪几种群落，针对每个群落的客户展开焦点讨论和情景观察，从而挖掘不同群落客户之间的需求差异，进而为各个群落的客户提供精准营销服务。 通过以上这些的 *** 作，一个企业的数据分析或者说数据挖掘工作的完整流程就呈现了出来。可以看到，无论是数据采集，还是分析方法，亦或是分析主题，在大数据和互联网的支撑基础上，在未来都将有大幅度的增加，数据分析人员将成为下一个阶段的关键企业支撑人员，也即是在未来，在各个领域中，都将产生大量的宽客，或者增长黑客这样的数据分析人员，来带动企业的发展。

日本蜡烛图技术 作者：斯提夫，尼森 丁圣元翻译

投机第一课，技术分析基础的基础，几乎是最好的k线理论书籍

要求精读，即使不能理解，最好把那些k线形态和含义背下来。这就如同我们小的时候学习需要背乘法表一样。但是要记住这只是开始，实际的使用远不是这些。不管你会不会使用，或者有没有用过你先背下来来再说，这为将来走到形态理论的时候和更加高级的趋势理论打下最坚实的基础。不少的朋友因为这一关过得不好，要么自己大量的实践，付出金钱和精力代价；要么等有所提高后返回头来再读。

理解方向：多空双方交战的含义，最后的收盘定胜负。为啥很多时候不能用于实战？你要思考这个问题，我理解的答案是：那只是一天的。可有些时候又可以用于实战，因为有的时候一天决胜负。尽管大多数情况不是这样的。

在说明一下，这是我认为的读书次序，只是说一些主要的，还有一些没谈到得大家都可以看看，主要看老外的，比如一些心理方面的，技巧方面的。国内的也有好的极少极少。我个人很推荐丁圣元先生翻译的书籍

第二本

期货技术分析 作者约翰.莫非

还是基础的基础

要求精读。在这本书里，可能很多都是陌生概念，别怕硬着头皮读下去。主要要全面地接受技术分析的基础知识。k线、形态、指标三者要求理解 。至于各种理论粗略点没多大关系的。这本书是经典技术基础，可能还要来回的看。有一位期货公司的 *** 盘和我们在一起讨论的时候说：莫非的书你该读十遍。

尽管等你走到很远的时候再来看这本书觉得很简单，但是起步还是要好好读。这就像一个大学生看加法很简单，但是他的起步也要从加法开始。

理解方向：k线是一切的基础，指标是用来描述k线组合的，不是决定。千万别陷入指标例，技术指标具备辅助判断意义，不是决定。技术分析是一个概率或者是成功率，不具备短期预测意义，但是具备中长期预测意义。k线组合比单独的k线意义更大，如果你推理的话，那么中长期的趋势意义比形态更加大。各种理论都是从市场走势得来的，是对市场走势的描述和归纳，都有缺陷。很简单我们无法对市场进行完全归纳，因为市场在不断进行没有尽头。

第三本

还是基础

《证券分析〉作者：格雷厄姆

这本不用多说，作者是现代证券技术分析奠基人，也是股神巴菲特的老师。曾预言自己的得意学生巴菲特会让世界瞩目。

主要是了解各种证券基础专业知识。不论是技术分析还是基本分析这本书都是很好的，全面详实。很多东西需要很好透彻理解，当然有很多得到现在我也不是很懂，不敢妄加评判。不懂得那部分我用技术去弥补。我是建议不懂得暂且放着。

第四本

股市晴雨表 作者：汉密尔顿

主要说证券总体走势反映国民经济，合理编制的指数相互应证，证券走势不可精确预测，但是中长期可以准确判断。

理解方向：证券走势不可精确预测，永远也不可能。证券的短期走势规律性很差，极难预测。长期规律性极强，很容易判断。而且证券走势长期上来说符合证券的基本面，合理编制的指数的走势反映大经济总体。这里一定要注意，看上去好像不可精确预测和准确判断是矛盾的。我们说准确判断指的是：一个范围。有点像量子力学，电子每一刻在那里我们不知道，但是我们知道它围着原子核运转，而且还能知道大概的运转方式。这本书我很敬佩汉密尔顿和查尔斯.道的严谨。这一点是我们的很多名人出的书无法相比的。

第五本

道氏理论 作者：汉密尔顿和查尔斯.道和其他几个人合著

最初的趋势定义，也是最基础的趋势理论。波浪理论基本建立在其基础上，后来的趋势理论也建立其上

理解方向：长期趋势左右中级、中级趋势左右短期趋势；倒过来说就是：短期服从中期，中期服从长期，前提是没有转势。转势是有特征的。一定牢记这个转势特征，看上去很简单，有一天明白过来，就会明白道氏理论的伟大。对于一个交易者来说，尤其是纯技术 *** 作者最为重要。读者本书一样要注意书中所说的牛熊转变的全部过程。这个转变过程极为经典，太重要，对于股票 *** 作者尤其重要。

读书读到这里，可以轻松一下，多实践多看盘。建议去游侠股市模拟炒股，深临其境体味股市风险，这样可以更快入门。这里一定要牢牢的记住一点：任何理论任何技术都是有缺陷的，要回避这些缺陷，唯一没有缺陷的就是市场本身，所有的技术和理论都是从市场来的，这些技术和理论无非是能够让读者以最快的，最捷径走到市场的本身走势上。这会远远的超过自己亲自实践。

下面列一堆书，都是必读，可以精读，也可粗读

波浪理论 作者：艾略特

波浪理论--市场行为关键 作者：罗伯特

来源于道氏理论。缺点就是极力想去预测走势，吃力不讨好。但是波浪理论确实提供一部分极为有用的趋势阶段和过程，这些是将来的细节部分。

理解方向：走势在各个级别上基本相同。这个话说起来很不容易理解。比方一下：5分钟的走势图常常在日线上重演，同样日线的走势图也在分时上重演。我们可以把这个说成是证券的性格。这一点对于理解形态，趋势过程有着极大的帮助。走到精细的波浪分析地步，确实对判断趋势也有帮助，包含趋势的延续和转折。缺陷在墨非的书里都说到，哈哈重读墨非吧。

混沌理论 作者 比尔。威廉斯

主要是形态

理解方向：形态无非是k线的组合。形态越大代表的意义越大，这在墨非的书里一样说到，有兴趣还是重读墨非。注意一点：形态在趋势过程中，受制于趋势。一样的形态在上升趋势和下跌趋势中得意义完全不同。千万不要认死理。如果认为哪种形态就该涨，哪种形态就该跌，对不起，可能要吃大亏的。

江恩理论 作者 都是后来者总结的

时间周期大约知道就可以拉，反正我看不下去江恩。可是时间周期很多时候是有用的。不多说，因为每次说他我都被骂的狗头喷血。

理解方向：周期有很多种，至于那一种好用很难说。大约掌握几点 1：数理周期 费氏数列 2：历法周期，年月日等等

3：证券本身周期 比方一下：有没有注意过证券走势的调整是有规律的，几乎一眼就看出来。

这三本书我个人的观点都是细节。

第九本

股票作手回忆录 作者livremore

这是必读书也是精读书，可能以后还要来回的看。这本书是我的启蒙老师。斯坦利克罗用十几年来研究livremore，然后作出让世人瞩目的一单。

太精彩拉，无从说起。太伟大，我只能感叹。

理解方向：livermore 为何能做出来这样的成就？为何悲惨结局。我以为这是每一个一证券为生涯的人都要思考的。这不仅仅是技术上的问题，当然livermore的技术存在缺陷（后来的斯坦利克罗弥补调这个缺陷）。livermore这本书很多东西都是我们要牢记的，最重要的一点是：livermore感受到并实践了证券的真理，但是他却没有好好总结。如果是有心人，好好去考虑，别忘掉。也许一生都不会明白；也许有一天可能会明白过来，得来的真理是那样的简单。

第十本

专业投机原理 作者 斯博郎迪

技巧和基本分析 精读

我更多看重的是这本书的技术分析技巧

理解方向：斯博朗迪在竭力的追求安全性，用了很多的办法和技巧来保障盈利。我最感兴趣的是他的划线，简单实用。我建议按找他的办法多多划线，也许有一天，自己画出来的线自己都感叹划线的精准，还有更加神奇的划线，斯博朗迪没有说，但是你要长期画，也许找得到。但是切记不要迷恋，我是由时间就多画画，全当是乐趣。

第十一本

股票大作手 *** 盘术 作者 livremore 翻译 丁圣元（丁老师翻译的好书真多）

斯坦利克罗几乎把livremore的所有 *** 盘记录能研究都研究了。这也一样值得我们研究。在这本书里，就是livremore 感觉到的证券真理的整个过程（我个人认为，只代表个人观点）。他知道这个东西的威力。但是我想可能是没有更加细致地总结。人类的文明和精华都是一代一代人留下的，他能为我们找到源头，已经太伟大！

理解方向：为何当初的livremore会这样 *** 作，这样 *** 作的道理到底在哪里？为何斯坦利克罗对他的这样的 *** 作如此的感兴趣。当然我要说，并不是说我们也找到这个原因就可以成就大事业，不是这个意思。毕竟很多时候需要勇气和才华。但是如果找到一定受益匪浅。

第十二本书

期货交易技术 作者 杰克 施瓦格

我觉得这是技术分析里最棒的图书，可谓技术分析的顶级，至今为止我还没到看过比这本书再好的技术分析图书（读书有限，不对请大家指出）。

理解方向：《股票大作手 *** 盘术〉看得晕乎不要紧，这本书是《股票大作手 *** 盘术〉一书的实战注解。精彩之处就是施瓦格的大量的 *** 作实例，从开意思到，到最后的自觉执行，生动鲜明，简洁明了。一定要注意他为何说：错误的 *** 作不见的盈利，正确的 *** 作可能亏损。这一点极为重要。在这里会看到很多盈利最后变为亏损，但是有些 *** 作是正确的（纯技术观点）。所以很怀疑不要把盈利变成亏损这句话。

第十三本

克罗谈投资策略 作者 斯坦利克罗

这本书几乎是《道氏理论〉《股票大作手回忆录〉《期货交易技术〉总结。但是书中却极少谈到具体的技术分析，谈得最多的还是livremore。为何说是总结，因为斯坦利克罗强调的是：趋势，并且是市场本身的趋势，也不是技术分析中的形态、k线、趋势线。。。。。的趋势，更不是我们主观臆断的趋势。是市场本身的力量造就的趋势。

他研究了 livremore那样多年，得来的只有一个就是市场本身的趋势。

理解方向：第一，言者不知 知者不言，这是为何？第二为何他敢于不看盘 *** 作期货？到底为何？为何他能够持有期货多单5年？很多人都喜欢读这本书，却没有问这些问题。可能很多人认为他理解了趋势，没错是这样，但是还有更加深层的东西。他在整本书里都在表达这个东西，就是没有直接点出来，这可能就是他说的言者不知、知者不言吧。再回头看看《道氏理论〉，看看《股票大作手 *** 盘术〉《期货加以技术〉我想能找到提示。

13本书说完了，最后多说点，证券本身走势第一位 ，长期趋势是最好的走势表述者。所有的规则都是来自市场，不要变成规则爱好者、收集者。

上面所说的所有书几乎都建立在图表技术上。至于基本分析基本没有涉及，基本技术的爱好者读书方向可能不是这些。这只是我认为相当重要的书，还有很多的书值得好好精读，很多论坛也有不少的好文章值得读。

下面再给大家推荐基本我觉得是很好的书

系统交易方法 作者 波涛

很好的系统交易教材

我做了一回庄 作者 八佰伴

很精彩的期货实战典范，做期货的朋友我觉得必读，对于理解期货有很大的帮助

短线的秘诀 作者

短线交易秘诀 拉瑞 威廉姆斯

很多的技巧，最感兴趣的观点是作者在最后指出的：短线的秘诀，就是把短线变成长线。哈截断亏损让利润奔跑。

亚当理论 作者 好像是威尔德巴（不好意思想不起来了）。

也很不错的书，强调趋势

还有一些大师的作品 股神巴菲特 索洛斯的 等等都不错的

何止背下，不但背下一个一个地从具体的股票里去找。一个一个去验证。那是很多年前的事情，

但是现在用不到了。不常用的也都忘掉。心里多的是各种形态，和形态的发展。但是这些东西都是小细节