
1:熟练使用各种框架,并知道实现原理(比如Spring,mybatis)。
2:JVM虚拟机原理、调优,懂得JVM虚拟机能让你写出性能更好的代码
3:池技术,对象池,连接池,线程池
4:JAVA反射技术,写框架必备技术,但是有严重的性能问题,替代方案是JAVA字节码技术
5:nio,“直接内存”的特点,使用场景。
6:JAVA多线程,同步异步。
7:JAVA各种集合对象的实现原理,可以让你选择更加合适的数据结构,hashmap的实现原理,扩容的性能问题。
8:熟练使用各种数据结构和算法,数组、哈希、链表、排序树一句话要么是时间换空间要么是空间换时间。
9:熟练使用Linux *** 作系统,必备。
10:TCP协议,三次握手和四次握手,不了解的话,无法对高并发网络做优化;熟悉>
11:系统集群、负载均衡、反向代理、动静分离,网站静态化
12:分布式存储系统nfs,fastdfs,tfs,hadoop了解他们的优缺点,适用场景。
13:分布式缓存技术memcached,redis,提高系统性能必备,把硬盘上的内容放到内存里来提速,算法是一致性hash
14:工具nginx必备技能超级好用,高性能,基本上不会挂掉的服务器,功能多多,解决各种问题。
15:数据库设计能力,mysql必备,基本的参数优化,慢查询日志分析,主从赋值的配置;其他的nosql数据库如mongodb
16:中间件。如消息推送,可以先把消息写入数据库,推送放到队列服务器上,由推送服务器区队列获取处理,这样就可以将消息放数据库和队列里后直接给用户反馈,推送过程则由推送服务器和对垒服务器完成,异步处理、环节服务器压力,解耦系统。
想成为架构师不是懂了一大堆技术就可以了,这些是解决问题的基础、是工具,不懂这些怎么去提解决方案呢?这是成为架构师的必要条件。
架构师还要针对业务特点、系统的性能要求提出能解决问题成本最低的设计方案才合格,人家一个几百人用户的系统,访问量不大,数据量小,你给人家上集群、上分布式存储、上高端服务器,为了架构而架构,这是最扯淡的,架构师的作用就是第一满足业务需求,第二最低的硬件网络成本和技术维护成本。
架构师还要根据业务发展阶段,提前预见发展到下一个阶段系统架构的解决方案,并且设计当前架构时将架构的升级扩展考虑进去,做到易于升级;否则等系统瓶颈来了,出问题了再去出方案,或现有架构无法扩展直接扔掉重做,或扩展麻烦问题一大堆,这会对企业造成损失;
关于Android 消息推送,采用第三方服务推送。客户端只需要导入第三方提供的lib库,有第三方管理长连接,负责消息的接收/发送。同时对消息都有比较详细的报表数据,可以用于做数据分析、挖掘,改善用户体验。第三方服务平台极光推送就不错。极光推送个性化推送满足用户多种推送需要,有效提升用户体验,利用大数据人工智能技术,实现智能用户分群,提升消息点击率,推送安全包确保推送内容准确,拒绝运营事故。
极光推送产品优势:
1、便捷的使用体验快速集成SDK,简单易用的控制台和API
2、灵活的目标筛选提供用户自定义的标签和别名系统,以及极光自己根据数据分析出的分类目标
3、高效稳定的系统支持10亿级的高并发访问,多点备份保证系统稳定
4、专业的支持有专业的技术支持团队,及时响应客户的需求和问题
极光推送搭建起一个高度稳定、可扩展的云端架构,极大地帮助移动应用开发者节约开发和维护的成本,轻松实现毫秒级的精准推送。
iOS 和 Android 的后台推送原理各是什么?有什么区别?2013-12-11 17:42| 发布者: zouqun |原作者: 李楠|来自: 知乎摘要: iOS 的推送iOS 在系统级别有一个推送服务程序使用 5223 端口。使用这个端口的协议源于 Jabber 后来发展为 XMPP ,被用于 Gtalk 等 IM 软件中。所以, iOS 的推送,可以不严谨的理解为:苹果服务器朝手机后台挂的一个 iOS 的推送
iOS 在系统级别有一个推送服务程序使用 5223 端口。使用这个端口的协议源于 Jabber 后来发展为 XMPP ,被用于 Gtalk 等 IM 软件中。所以, iOS 的推送,可以不严谨的理解为:
苹果服务器朝手机后台挂的一个 IM 服务程序发送的消息。
然后,系统根据该 IM 消息识别告诉哪个 Apps 具体发生了什么事。
然后,系统分别通知这些 Apps 。应该说,苹果这种方式在技术上没有什么创新。但是,整个架构是很了不起的。 因为:
1 使用久经考验的协议,技术风险小。
2 苹果勇于承担责任:
他需要维护一个代价不小的服务器集群,而且要为服务器的 down 机负责。
选择低风险的技术方案 Bug 更少,减轻了用户的痛苦,这是构架师的功劳。
苹果承担责任,尽可能的减少了不可控的意外,保证了用户体验。
这,只能说是公司决策者的功劳。
(从侧面说明有个懂技术的 VP 是多重要。。。而 Scott 走人了。。)
他们带给用户的好处也是实实在在的。
1 安全。
只有登录过的开发者可以通过苹果的服务器推送。
2 快速,稳定,可靠。
苹果掌控推送服务器和 OS 。
3 更省电。
4 让整个系统的体验更统一和简单。
不会出现杀后台这种脑残事。(不用大量 Apps / Apps 的服务为了推送挂后台)。
也不会出现 Apps 被杀就收不到推送这种脑残事(早一点的新浪微博 Android 版仍然如此)。
5 开发容易。
当然,开发者还是要做些事情,比如维护个服务器什么的: >京东活动系统 是一个可在线编辑、实时编辑更新和发布新活动,并对外提供页面访问服务的系统。其高时效性、灵活性等特征,极受青睐,已发展成京东几个重要流量入口之一。近几次大促,系统所承载的pv已经达到数亿级。随着京东业务的高速发展,京东活动系统的压力会越来越大。急需要一个更高效,稳定的系统架构,来支持业务的高速发展。本文主要对活动页面浏览方面的性能,进行探讨。
活动页面浏览性能提升的难点:
1 活动与活动之间差异很大,不像商品页有固定的模式。每个页面能抽取的公共部分有限,可复用性差。
2 活动页面内容多样,业务繁多。依赖大量外部业务接口,数据很难做到闭环。外部接口的性能,以及稳定性,严重制约了活动页的渲染速度、稳定性。
经过多年在该系统下的开发实践,提出“页面渲染、浏览异步化”的思想,并以此为指导,对该系统进行架构升级改造。通过近几个月的运行,各方面性能都有显著提升。在分享"新架构"之前,先看看我们现有web系统的架构现状。
以京东活动系统架构的演变为例,这里没有画出具体的业务逻辑,只是简单的描述下架构:
2第二步,一般是在消耗性能的地方加缓存,这里对部分查库 *** 作加redis缓存
3对页面进行整页redis缓存:由于活动页面内容繁多,渲染一次页面的成本是很高。这里可以考虑把渲染好的活动内容整页缓存起来,下次请求到来时,如果缓存中有值,直接获取缓存返回。
以上是系统应用服务层面架构演进的,简单示意。为了减少应用服务器的压力,可以在应用服务器前面,加cdn和nginx的proxy_caxhe,降低回源率。
4整体架构(老)
除了前3步讲的“浏览服务”,老架构还做了其他两个大的优化:“接口服务”、静态服务
1访问请求,首先到达浏览服务,把整个页面框架返回给浏览器(有cdn、nginx、redis等各级缓存)。
2对于实时数据(如秒杀)、个性化数据(如登陆、个人坐标),采用前端实时接口调用,前端接口服务。
3静态服务:静态资源分离,所有静态js、css访问静态服务。
要点:浏览服务、接口服务分离。页面固定不变部分走浏览服务,实时变化、个性化采用前端接口服务实现。
接口服务:分两类,直接读redis缓存、调用外部接口。这里可以对直接读redis的接口采用nginx+lua进行优化( openresty ),不做详细讲解。 本次分享主要对“浏览服务”架构
在讲新架构之前先看看新老架构下的新能对比
击穿cdn缓存、nginx缓存,回源到应用服务器的流量大约为20%-40%之间,这里的性能对比,只针对回源到应用服务器的部分。
2015双十一, 浏览方法tp99如下:(物理机)
Tp99 1000ms左右,且抖动幅度很大,内存使用近70%,cpu 45%左右。
1000ms内没有缓存,有阻塞甚至挂掉的风险。
2新架构浏览服务新能
本次2016 618采用新架构支持,浏览tp99如下(分app端活动和pc端活动):
移动活动浏览tp99稳定在8ms, pc活动浏览tp99 稳定在15ms左右。全天几乎一条直线,没有性能抖动。
新架构支持,服务器(docker)cpu性能如下
cpu消耗一直平稳在1%,几乎没有抖动。
对比结果:新架构tp99从1000ms降低到 15ms,cpu消耗从45%降低到1%,新架构性能得到质的提升。
why!!!
下面我们就来揭开新架构的面纱。
1 页面浏览,页面渲染 异步化
再来看之前的浏览服务架构,20%-40%的页面请求会重新渲染页面,渲染需要重新计算、查询、创建对象等导致 cpu、内存消耗增加,tp99性能下降。
如果能保证每次请求都能获取到redis整页缓存,这些性能问题就都不存在了。
即:页面浏览,与页面渲染 异步。
理想情况下,如果页面数据变动可以通过 手动触发渲染(页面发布新内容)、外部数据变化通过监听mq 自动触发渲染。
但是有些外部接口不支持mq、或者无法使用mq,比如活动页面置入的某个商品,这个商品名称变化。
为了解决这个问题,view工程每隔指定时间,向engine发起重新渲染请求-最新内容放入redis。下一次请求到来时即可获取到新内容。由于活动很多,也不能确定哪些活动在被访问,所以不建议使用timer。通过加一个缓存key来实现,处理逻辑如下:
好处就是,只对有访问的活动定时重新发起渲染。
整理架构(不包含业务):
view工程职责 :
a直接从缓存或者硬盘中获取静态html返回,如果没有返回错误页面。(文件系统的存取性能比较低,超过 100ms级别,这里没有使用)
b根据缓存key2是否过期,判断是否向engine重新发起渲染。(如果,你的项目外面接口都支持mq,这个 功能就不需要了)
engine工程职责 :渲染活动页面,把结果放到 硬盘、redis。
publish工程、mq 职责 :页面发生变化,向engine重新发起渲染。 具体的页面逻辑,这里不做讲解
Engine工程的工作 就是当页面内容发生变化时,重新渲染页面,并将整页内容放到redis,或者推送到硬盘。
View工程的工作,就是根据链接从redis中获取页面内容返回。
3view 工程架构 ( 硬盘 版)
两个版本对比
aRedis版
优点:接入简单、 性能好,尤其是在大量页面情况下,没有性能抖动 。单个docker tps达到 700。
缺点:严重依赖京东redis服务,如果redis服务出现问题,所有页面都无法访问。
b硬盘版
优点:不依赖任何其他外部服务,只要应用服务不挂、网络正常 就可以对外稳定服务。
在页面数量不大的情况下,性能优越。单个docker tps达到 2000。
缺点:在页面数据量大的情况下(系统的所有活动页有xx个G左右),磁盘io消耗增加(这里采用的java io,如果采用nginx+lua,io消耗应该会控制在10%以内)。
解决方案:
a 对所有页面访问和存储 采用url hash方式,所有页面均匀分配到各个应用服务器上。
b 采用nginx+lua 利用nginx的异步io,代替java io。
现在通过nginx+lua做应用服务,所具有的高并发处理能力、高性能、高稳定性已经越来越受青睐。通过上述讲解,view工程没有任何业务逻辑。可以很轻易的就可以用lua实现,从redis或者硬盘获取页面,实现更高效的web服务。如果想学习Java工程化、高性能及分布式、深入浅出。微服务、Spring,MyBatis,Netty源码分析的朋友可以加我的Java进阶qun:694549689,里面有阿里大牛直播讲解技术,以及Java大型互联网技术的视频免费分享给大家。
1具有1-5工作经验的,面对目前流行的技术不知从何下手,需要突破技术瓶颈的可以加。
2在公司待久了,过得很安逸,但跳槽时面试碰壁。需要在短时间内进修、跳槽拿高薪的可以加。
3如果没有工作经验,但基础非常扎实,对java工作机制,常用设计思想,常用java开发框架掌握熟练的可以加。
通过测试对比,view工程读本地硬盘的速度,比读redis还要快(同一个页面,读redis是15ms,硬盘是8ms)。所以终极版架构我选择用硬盘,redis做备份,硬盘读不到时在读redis。
这里前置机的url hash是自己实现的逻辑,engine工程采用同样的规则推送到view服务器硬盘即可,具体逻辑这里不细讲。后面有时间再单独做一次分享。
优点:具备硬盘版的全部优点,同时去掉tomcat,直接利用nginx高并发能力,以及io处理能力。各项性能、以及稳定性达到最优。
缺点:1、硬盘坏掉,影响访问。2方法监控,以及日志打印,需使用lua脚本重写。
无论是redis版、硬盘版、openresty+硬盘版,基础都是页面浏览与页面渲染异步化。
优势:
1、所有业务逻辑都剥离到engine工程,新view工程理论上永远无需上线。
2、灾备多样化(redis、硬盘、文件系统),且更加简单,外部接口或者服务出现问题后,切断engine工程渲染,不再更新redis和硬盘即可。
3、新view工程,与业务逻辑完全隔离,不依赖外部接口和服务,大促期间,即便外部接口出现新能问题,或者有外部服务挂掉,丝毫不影响view工程正常访问。
4、性能提升上百倍,从1000ms提升到10ms左右。详见前面的性能截图。
5、稳定性:只要view服务器的网络还正常,可以做到理论上用不挂机。
6、大幅度节省服务器资源,按此架构,4+20+30=54个docker足以支持10亿级pv。(4个nginx proxy_cache、20个view,30个engine)
从事开发已有近10载,一直就像寄生虫一样吸取着网络上的资源。前段时间受“张开涛”大神所托,对活动系统新架构做了一次简单整理分享给大家,希望能给大家带来一丝帮助。第一次在网上做分享,难免有些没有考虑周全的地方,以后会慢慢的多分享一些自己的心得,大家一起成长。最后再来点心灵鸡汤。。。
remoting 和socket都可以实现推送
例如:服务器段获取后,先分离出数,然后相加,然后发送给客户端。
不过我那个不是C/S的,是点对点的。
补充:服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。
服务器的构成包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
在网络环境下,根据服务器提供的服务类型不同,分为文件服务器,数据库服务器,应用程序服务器,WEB服务器等。
极光推送服务器端向ios端推送消息需要设置的参数有:1、高送达率,时效保证:极光推送具有自主协议确认推送消息的送达。
2、服务集成SDK简单:只需要进行简单复制便可直接编译运行 。
3、推送内容多样性服务:除了通知,还有消息、多媒体等;还要其它的各种服务。
4、使应用程序保持高注意力:即使用户没有打开应用,能推送有用的消息。
深圳极光成立于2011年,是中国领先的开发者服务提供商,而且也帮助各行各业优化决策、提升效率。专注于为开发者提供稳定高效的消息推送、一键认证以及流量变现等服务,助力开发者的运营、增长与变现。
极光推送也是一个高度稳定、可扩展的云端架构,极大地帮助移动应用开发者节约开发和维护的成本,轻松实现毫秒级的精准推送。
微服务加上如今的服务发现,在基础设施即代码(指使用脚本配置计算基础设施,而不是手动配置计算机的方法)的过程中,我们正在不断的尝试各种实践方案。如何在云基础设施下结合业务场景,通过负载均衡、服务发现、容器化来实现业务链自动化,这就是本文给大家带来的分享。
困扰和烦恼
首先来看下我们其中一个平台之前的大体架构:
随着业务的递增,我们遇到了以下的问题:
什么是服务发现?
在分布式微服务架构中,一个应用可能由一组职责单一化的服务组成。这时候就需要一个注册服务的机制,注册某个服务或者某个节点是可用的,还需要一个发现服务的机制来找到哪些服务或者哪些节点还在提供服务。
在实际应用中,通常还都需要一个配置文件告诉我们一些配置信息,比如数据连接的地址,Redis 的地址等等。但很多时候,我们想要动态地在不修改代码的情况下得到这些信息,并且能很好地管理它们。
然而,服务发现组件记录了(大规模)分布式系统中所有服务的信息,其它服务可以据此找到这些服务。DNS 就是一个简单的例子。当然,复杂系统的服务发现组件要提供更多的功能,例如,服务元数据存储、 健康 监控、多种查询和实时更新等。服务发现是支撑大规模 SOA 的核心服务。
Consul 介绍
Consul 是一个支持多数据中心分布式高可用,用于服务发现和配置共享的开源工具。它具有开箱即用、可跨系统平台部署(在任何基础架构上连接任何应用)等特点。Consul 的三个主要应用场景:服务发现、服务隔离、服务配置。Consul 关键特性:
Consul 之服务发现
Consul 之服务配置
首先 Consul 集群内的所有数据都是可共享的,任何一个节点都是可以同时获取到集群内最新的数据信息。然后通过一些例如 Key/Value、Server、Node 等等数据进行文本内容渲染,从而达到一个变更的全程实时自动化。例如根据 Key/Value 信息渲染:
例如根据服务信息渲染:
在传统运维方式上可以有哪些改变
传统方式如何向微服务化转变
入口的动态自动化
容器和服务发现始终只是在对内部的通信实现,如何将这些服务快速方便的对外实现通信,并且能够高度自动化呢?我们通过将 HA 作为各类后端服务的对外统一入口;配置 backend 服务时,配置的是 Consul 中的服务域名。从而作为内部和外部通信的一个通信转发枢纽。
HA 的域名动态解析
首先看看容器化下的服务地址是怎样通过 Consul 完成变更的。
然后为什么是 HA 的 DNS 动态解析?这个不是 DNS 的锅么?
在常见的代码更新、服务配置变更、迁移、扩容等需要容器重建时,会导致 N 个容器同时发生 Consul 域名解析变更(当然也是预期内的变更),这个时候需要使用了 Consul 域名的服务在访问失败时能够去重新解析一次域名获取新的 IP,完成解析的自动变更。
需要注意的是这里有个坑,原来使用 HAProxy 15 版本,后端服务配置使用域名时,启动服务后只解析一次(和 Nginx 类似)域名,这时如果已解析的服务挂掉或进行了切换等,即使异常节点已屏蔽,访问 HA 时依然会出现例如 503 等异常(即使 DNS 已经发生了改变,但 HA 服务本身缓存了旧 IP 等于地址未更新)。后续查询官网得知 HAProxy 16+ 才支持了动态DNS。
如何利用 HA 的域名解析配置实现后端路由动态化
首先,HA配置增加一段 resolvers 定义,用来实现 HA 的域名动态解析。
其次,对不同业务环境隔离的路由分发,同样需要增加 HA 的 frontend 配置进行流量隔离。
最后,在 HA 的 backend 处引用前面定义的 resolvers 和 frontend,实现到后端RS的动态转发。
WEB 配置内容自动托管
文件内容更新:使用 Consul 的 K/V watch 功能,一旦有新服务上线/下线时,配置自动化接入和自动化下线流程,更新 Web 服务配置并 reload(触发脚本完成),完成整个流程的自动化。
后端服务自动加入集群
云主机节点自动初始化自身后进行服务注册,自动导入流量。
总的来说,我们根据业务特性,使用 HA、Consul、Docker 这样的一个组合来实现高度可扩展性、稳定性,及流程的基本全自动化过程。
业务链高度自动化,从上线到下线,整个流程包括服务上线、配置变更、产品发布、功能迭代、下线回收等全自动衔接完成。
整个过程至少实现了:
现在(图 A)和原有(图 B)对比如下:
作者:丁易锋,网易 游戏 资深运维工程师,主要工作方向为网易 游戏 项目运维支持。专注于运维技术的突破,以及为产品提供更加高质量和便捷的服务支撑。
本文转载自公众号:网易 游戏 运维平台,原文。
1-技术有什么区别
首先通信上目前的主流是>
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)