怎样进行大数据的入门级学习

如今大数据发展得可谓是如日中天，各行各业对于大数据分析和大数据处理的需求也是与日俱增，越来越多的决策、建议、规划和报告，都要依靠大数据的支撑，学习大数据成了不少人提升或转行的机会。因此，入门大数据开始成为很多人的第一步，下面给大家讲讲，究竟大数据入门，首要掌握的知识点有哪些，如何一步一步进阶呢？

首先我们要了解Java语言和Linux *** 作系统，这两个是学习大数据的基础，学习的顺序不分前后。楼主是JAVA毕业的，这无疑是极好的开头和奠基啊，可谓是赢在了起跑线上，接收和吸收大数据领域的知识会比一般人更加得心应手。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的排队买票你知道不数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以 *** 作它，因为它们都是用JVM的。

很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一 个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习方法与学习中应该注意的一些事。

就如同刚才说的，很多同学以前可能连Linux是什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。

Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有20次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。

由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在80MB左右，而VM动辄600MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。

现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指 *** 作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：

UBUNTU适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。

Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。

Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。

Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。

Slackware与Gentoo类似。

CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。

LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。

你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。

再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计，谭浩强的也可以。C语言，白皮书当然更好。C++推荐C++ Primer Plus，Java我不喜欢，就不推荐了。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。

如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。

接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看10遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分，Google创始人的案头书籍，扎尔伯克的床头读物。）

这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。Linux不是，Linux系统的核心API就100来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS400系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？

如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。

现在是时候做分流了。 大体上我分为四个方向：网络，图形，嵌入式，设备驱动。

如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。

我的看法是以下面的顺序来看书：

APUE再深读 – 尤其是进程，线程，IPC，套接字

多核程序设计 - Pthread一定得吃透了，你很NB

UNIX网络编程 – 卷一，卷二

TCP/IP网络详解 – 卷一 再看上面两本书时就该看了

5TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了

6Lig>

好像武侠小说里边说的：“你的招式忘了没有？”，回答：“差不多忘了”，“忘了就好”。

这与数据库编程有什么关系？关系可大了。同志们学过Pascal、BASIC、C(C++)没有？如果没有，FOXBASE、FOXPRO应该学过吧？按以上这些语言编程，都是过程化的，说白一点就是一个数据一个数据、一条记录一条记录去处理(FOXBASE、FOXPRO不完全这样，但书上也经常是这样介绍的)，当初我接触ACCESS 97时，一下子没有了IF、FOR这些语句(指数据处理)，都用SQL语句，真是找不到北了，好在我学SQL语言时，也尽量忘掉这个IF、FOR，到我忘得差不多时，功夫也进了一大步，原来要编一大段程序，现在一两条SQL语句搞定，就算用多几条SQL语句，由于是在图形界面下做，可视化 *** 作，拉拉扯扯，再修改一下生成的SQL语句，也就省事多了。

由于ACCESS具备完整的SQL语言(FOXBASE没有、FOXPRO不完整)，我从ACCESS 97开始用ACCESS编程，到现在为止，DAO、ADO很少用，加上最近从爱赛思上接触的一些技术，基本上不用DAO、ADO都可以了，可以从我的“未完工的库存管理”中看出，只是在特殊情况下才偶尔用一下。(少用，但不是不用，还得学，不要误解)

如何学好数据库编程？下面介绍一下本人的一些经验，仅供参考：

1首先要把原来一个数据一个数据、一条记录一条记录的数据处理方式忘掉，越彻底越好。

现在用成批处理了。少用记录集一条记录一条记录地处理，尽量用SQL语句。

2学好关系数据库的理论，尤其是规范化理论，表的设计一定要规范化，最起码要规范化到第三范式。集合运算(并、交、差)。关系运算(选择、投影、连接)。其中连接与规范化是紧密结合的。

3运用面向对象的技术：面向对象的分析OOA、面向对象的设计OOD、面向对象的编程OOP，根据表的关系，用窗体和子窗体、报表和子报表，仿真面向对象，这样可以增加程序的可读性和可维护性。(这是高级技术，同志们不要轻视，做大项目你就知道有用了)

4用查询时，通常一步做不出来，可以分几步做，本人通常是这么做的，从我给网友回复的例子中也可以看得出。为什么要这样做？(1)有些是SQL语言的限制，没办法一步做出来，逼的；(2)可以检查每一步查询的结果，容易调试；(3)增加可读性，便于日后维护。

5查询的结果用窗体显示或用报表打印，两者的技术差不多。通常改变打开窗体或报表的条件就可控制显示或打印的记录范围。另外用查询做数据源时，动态改变查询中的SQL语句，比在查询中引用窗体的控件要方便，因为SQL语句生成是在VBA中，可以先存放在字符变量中，然后再更新查询的SQL语句，这样就可以用断点来检查变量值对不对，如果在查询中引用窗体的控件，尤其是包含IIF()函数时，调试是很困难的。

6开发一个系统，首先要解决技术问题，即算法，用简单例子，把算法弄懂了，再详细设计，这一点从网友的提问中可以看出，有很多人问题表达不清楚，有的人其中夹了很多与算法无关的东西，尤其是很专业的东西，别人不容易看得明白，由于算法没搞清楚，程序就无法编了。

7不要使用过多的工具特性，使用过多的工具特性会使可读性降低，可维护性差，要别人帮忙时难以得到帮助，更要命的是可移植性差，从MDB到ADP就可以体会到了，所以在编程时可读性很重要，可移植性更重要，你甘心自己的程序就固定在一个环境下运行吗？你甘心永远用一个工具搞开发吗？为了你的“钱途”，不要玩弄太多的技巧，当然技术研究是另外一码事。

sql入门讲座

SQL Server 2000 看图教程pdf

轻松搞定 sql server 2000 程序设计pdf

SQLServer2000开发者指南pdf

SQL Server 2000编程员指南pdf

Oracle_8i_PL_SQL高级程序设计pdf

Oracle Developer使用指南pdf

Oracle_8 & 8i开发使用手册pdf

VB 和 SQL Server 编程指南

Visual Basic 开发Web数据库指南

VisualBasic的数据库开发应用

VisualBasic6数据库编程大全

Visual Basic6_X程序设计—SQL应用

Visual Basic6_0 中文版数据库和Internet

书籍下载地址：>

初学数据库应该从以下几点进行学习：

一、编程语言基础

新手学大数据，首先要掌握基础的编程语言基础，比如Java、C++等，要初步掌握面向的对象、抽象类、接口及数据流及对象流等基础，如果有疑问，可以去网上搜索相关书籍，再结合自己的疑问去翻书，就能很快的熟悉了解数据库的基础技术原理。

二、Linux系统的基本 *** 作

Linux系统的基本 *** 作是大数据不可分割的一部分，企业的MySQL大数据的组件都是跑在linux环境下的，所以学会linux常用命令不能缺少，重点是要学习一下Linux环境的搭建，搭建平台，，能写shell程序就会更好了。

三、学习Hadoop架构设计

要学大数据，首先要了解的是如何在单台Windows系统上通过虚拟机搭建多台Linux虚拟机，从而构建Hadoop集群，再建立spark开发环境，环境搭建成功后在网上搜罗一些demo，sql脚本之类，直接动手敲进去一点一点体会。

四、采用机器学习模式

为了发挥出大数据的优势，提升你的办公效率，就需要实 *** 并应用其中的内容，必然也会涉及大量机器学习及算法，这能最大化的发挥出计算机的性能，也是大数据的优势所在。

想了解更多有关数据库的相关信息，推荐咨询达内教育。作为国内IT培训的领导品牌，达内的每一名员工都以“帮助每一个学员成就梦想”为己任，也正因为达内人的执着与努力，达内已成功为社会输送了众多合格人才，为广大学子提供更多IT行业高薪机会，同时也为中国IT行业的发展做出了巨大的贡献。

>

>

再有就是学校图书馆内部的编号，可能不是标准化，具体意义只能看这个编号系统的规定了。

好久没回图书馆看看了，做为校友，建议你多学多用搜索工具，把你看到的字母跟数字搜一下可能就出来答案了。

以上就是关于怎样进行大数据的入门级学习全部的内容，包括:怎样进行大数据的入门级学习、关于linux学习路线的问题 请教前辈、我很想学好数据库但不知道具体学哪些内容才能学好数据库请高手指点一下,非常感激!等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！