Java如何处理大数据的

文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库 *** 作，清空集合，再接着读取。

//读取文件内容

while((s = br.readLine())!=null){

//判断是否达到单次处理量

if(num%leadingNum==0&&num!=0){

int a = stencDao.insertBatch(listBean)

if(a!=leadingNum){

flag = false

}

//清空集合

listBean.clear()

}

String value = s.trim()

//将读取到的内容放入集合中

if(!value.equals("")){

StencilCustomer bean = new StencilCustomer()

bean.setCustomerPhone(value)

bean.setLinkStencilId(id)

listBean.add(bean)

num ++

}

}

数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。

//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(

minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,

new ArrayBlockingQueue<Runnable>(minTaskNumber),

new ThreadPoolExecutor.DiscardOldestPolicy())

//当正在执行的线程数达到最大执行线程数的时候等待

boolean flag = true

while(flag){

Thread.sleep(1000)//休眠2ms查询一次

int c = threadPool.getActiveCount()//线程池中活动中的线程数量

if(c<maxTaskNumber){

flag = false

}

}

上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000)用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率

学习Java还是很有前途的，因为Java是一门技术含量比较高的专业。涉及领域也非常广，人才缺口也非常大，下面就简单的分一下。

一、Java开发工程师前途何在：Java的市场规模

80%以上的高端企业级应用都使用Java平台(电信、银行等)。Java是成熟的产品，已经有20多年的历史。Amazon、Google、 eBay、淘宝、京东、阿里和其它的大型电子商务品牌都在使用Java来后台处理。这么多企业都青睐Java，主要原因是Java的可扩展性好，可以处理更多的客户数据。

二、Java开发工程师前途何在：Java称霸的领域

大型企业级应用，主要使用Java EE，比如大型企业管理系统，最典型的就是:

1.有关通信及网络的大型企业：移动、联通、电信、网通主要的信息化都是Java

2.有关金融行的大型企业，所有的银行、证券公司，比如工商银行、建设银行大型管理系统，如：供应链、客户管理系统……

3.电子政务，主要使用Java EE，相关的政府部门绝大多数的信息化系统是Java开发的

4.游戏，很多手机游戏都是用Java开发的。

5. 嵌入式设备及消费类电子产品，主要用 Java ME或现在很流行的andriod,无线手持设备、通信终端、医疗设备、信息家电(如数字电视、机顶盒、电冰箱)、汽车电子设备等是比较热门的Java应用领域，这方面的应用例子有中国联通CDMA 1X网络中基于Java技术的无线数据增值服务——UniJa。

无论是想转行java大数据还是大学生，怎么学java很重要，不然浪费金钱和时间这对你来说都是你非常宝贵的，尤其是时间，看看行业大牛的建议吧，少走弯路本身你就已经赢了一半了，这是Java交流口口qun：七三二、三零八、一七四，如果大家对于学习Java的学习方法，如何学习有效率以及就业的问题可以添加群跟大家交流（大神还是非常多的）

三、Java开发工程师前途何在：Java发展前景广阔

Eclipse Foundation执行董事 Mike Milinkovich表示：Java的未来一定是物联网，我十分期待Oracle和合作伙伴能够给出一个基于Java的端到端的存储解决方案，如果能够成功的话，那么未来20年，Java的地位都不会被动摇。

现在这个时代不仅是行业的巨大机会，同时也是Java发展的时机。虽然Java的反对声音一直都有，但是并没有阻止Java前进的脚步，相反它会为Java的发展提供前进的方向，我们有理由相信，即使再过20年，Java也不会被打倒。

根据IDC的统计数字，在所有软件开发类人才的需求中，对Java工程师的需求达到全部需求量的60%~70%。同时，Java工程师的薪水相对较高。通常来说，具有3~5年开发经验的工程师，拥有年薪10万元是很正常的一个薪酬水平。

想学Java的同学不要担心未来的就业市场问题，一个已经被说烂的说法：这个社会永远缺人，但是缺的是能人. 你需要担心的是你是否有足够的兴趣去学习编程，并将它作为一份事业来持之以恒。你是否有足够的耐心还野心去踏上冲击年薪40万的征程!

四、Java开发工程师前途何在：Java的持续完善

在Java任务控制套件和Java高级管理控制台的双重保障下，Java进入到了使用的新纪元，而同样进入这个纪元的，还有云计算和物联网。

作为最常用的云计算底层开发语言，Java的安全性、开放性、稳定性和跨平台性与云计算高可靠、高拓展的优势相得益彰。

五、Java开发工程师前途何在：Java是一门非常好的铺垫语言

各路大神诟病Java这门语言，强类型，语法结构比较严(lei)谨(zhui)，但是对于初学者来说，Java还是非常友好的，相对简单学习周期不会太长，很多人学过Java之后，再学习其他语言感觉非常轻松。

所以就算真的有什么不测风云，Java也是一门非常好的铺垫语言。因为编程思想，设计模是不会被淘汰的!Java的生态圈决定了它在未来10年，甚至20年都会是最热门的语言之一。如果对编程感兴趣可以来我这看看。

希望对您有所帮助！~

大数据就是无法通过人工的方式来完成数据分析和处理，需要借助工具才能完成相应的数据处理。大数据通常有3个特征：数量，种类，速度。准确的来说可以用大量，多样性，速度快以及价值高和密度低这四大特征来描述大数据。

一、大量性，数据量的级别从GB至、PB、乃至ZB上升，可称为海量，巨量甚至超量。并且以很快的速度在增长。最为典型的就是我们使用的微信，每天都会产生上亿级别的数据，来自不同领域，不同平台的用户都会产生大量的数据，这些数据是在不断的增长的，并且每个时间点都是不一样的，面对这样高速的增加，需要支撑的服务也是有要求的，这就需要有高并发高吞吐量的服务器来支撑。

二、多样性。数据信息由原来的简单数值、字符和文本向网页、图片、视频、图像和位置信息等半结构化和非结构化的数据类型发展，并且有一个通过的特征，信息大多分布在不同的地理位置、不同的存储设备以及不同的数据管理平台。简单的总结为三点：(1)数据来源多，和我们生活密切相关的社交应用像微博、微信、社交网站等等。（2）数据类型繁多，来自同一个平台可能就有不同的数据类型，图片，视频等等。（3）数据之间的关联性强，交互频繁，大型电子商务网站和社交网络中，一些用户的点击行为在一定程度上反映了该用户潜在的兴趣爱好和需求，链接之间的关联性是很强的。

三、快速化，大数据多数据的处理也是有一定的要求的，有的应用要求对数据的处理做到实时、快速。比较常见的就是我们最好的1元购，每次都有来自不同区域的海量数据，要在一定的时间内完成数据的计算和分析，这就需要将分布式计算、并行计算等等深度的结合才能满足需求的。

四、价值高密度低，我们经常会看到很多虚假的信息，通常情况下正在有价值的信息还是很分散的、密度非常低的，要在海量中寻求有价值的信息还是很有技术要求的。

---