谁有关于redis 存储海量数据高性能的demo,请上传一下

谁有关于redis 存储海量数据高性能的demo,请上传一下,第1张

1 Redis使用场景

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。

我们都知道,在日常的应用中,数据库瓶颈是最容易出现的。数据量太大和频繁的查询,由于磁盘IO性能的局限性,导致项目的性能越来越低。

这时候,基于内存的缓存框架,就能解决我们很多问题。例如Memcache,Redis等。将一些频繁使用的数据放入缓存读取,大大降低了数据库的负担。提升了系统的性能。

其实,对于hibernate的二级缓存,是同样的道理。利用内存高速的读写速度,来解决硬盘的瓶颈。

2 配置使用redis

首先,我们需要引入基本的jar包。maven中的基本引用如下:

<dependency>

<groupId>orgspringframeworkdata</groupId>

<artifactId>spring-data-redis</artifactId>

<version>142RELEASE</version>

</dependency>

<dependency>

<groupId>redisclients</groupId>

<artifactId>jedis</artifactId>

<version>262</version>

</dependency>

然后,在applicationContext中配置如下:

<bean id="poolConfig" class="redisclientsjedisJedisPoolConfig">

<property name="maxIdle" value="${redismaxIdle}" />

<property name="maxTotal" value="${redismaxActive}" />

<property name="maxWaitMillis" value="${redismaxWait}" />

<property name="testOnBorrow" value="${redistestOnBorrow}" />

</bean>

<bean id="connectionFactory" class="orgspringframeworkdataredisconnectionjedisJedisConnectionFactory" p:host-name="${redishost}" p:port="${redisport}" p:password="${redispass}"

p:pool-config-ref="poolConfig" />

<bean id="stringSerializer" class="orgspringframeworkdataredisserializerStringRedisSerializer"/>

<!-- 开启事务,可以通过transcational注解控制 -->

<bean id="redisTemplate" class="orgspringframeworkdatarediscoreRedisTemplate">

<property name="connectionFactory" ref="connectionFactory" />

<property name="keySerializer" ref="stringSerializer" />

<property name="enableTransactionSupport" value="true" />

</bean>

对于hibernate的配置可知,第一个poolconfig是对连接池的配置。包括最大连接数,队列数,存活时间,最大等待时间等等,还有一些额外的配置,请直接点击JedisPoolConfig类源码,进行查看。

这些配置的意思如果不明白的话,一定要去把线程池好好学习下。

第一个配置是连接工厂,顾名思义,最基本的使用一定是对连接的打开和关闭。我们需要为其配置redis服务器的账户密码,端口号。(这里还可以配置数据库的index,但是我使用时候一直使用redis的默认数据库,也就是第0个)

最后一个配置特别重要。这个类似于spring提供的HibernateDaoSupport。

接下来,全部讲解都将围绕这个类展开。

3 RedisTemplate的使用

这个类作为一个模版类,提供了很多快速使用redis的api,而不需要自己来维护连接,事务。

最初的时候,我创建的BaseRedisDao是继承自这个类的。继承的好处是我的每个Dao中,都可以自由的控制序列化器,自由的控制自己是否需要事务,这个先不需要了解,跟着我目前的这种配置方法来即可。

template提供了一系列的operation,比如valueOperation,HashOperation,ListOperation,SetOperation等,用来 *** 作不同数据类型的Redis。

并且,RedisTemplate还提供了对应的OperationsEditor,用来通过RedisTemplate直接注入对应的Operation。我们暂时不讲这个。

对于下面的test1方法,我们暂时不用考虑,先了解通过RedisTemplate来使用connection *** 作Redis。

Test代码如下:

package cntestspjedis;

import javaxannotationResource;

import orgjunitTest;

import orgjunitrunnerRunWith;

import orgspringframeworkbeansfactoryannotationAutowired;

import orgspringframeworkdaoDataAccessException;

import orgspringframeworkdataredisconnectionRedisConnection;

import orgspringframeworkdatarediscoreRedisCallback;

import orgspringframeworkdatarediscoreRedisTemplate;

import orgspringframeworkdatarediscoreValueOperations;

import orgspringframeworktestcontextContextConfiguration;

import orgspringframeworktestcontextjunit4SpringJUnit4ClassRunner;

import comcnredis2daoIncrDao;

@RunWith(SpringJUnit4ClassRunnerclass)

@ContextConfiguration(locations = "classpath:applicationContextxml")

public class TestRedis {

@Resource(name = "redisTemplate")

private RedisTemplate<String, String> template; // inject the template as ListOperations

//至于这个为什么可以注入。需要参考AbstractBeanFactory doGetBean

//supersetValue(((RedisOperations) value)opsForValue());就这一行代码 依靠一个editor

@Resource(name = "redisTemplate")

private ValueOperations<String, Object> vOps;

public void testSet(){

templateexecute(new RedisCallback<Boolean>() {

@Override

public Boolean doInRedis(RedisConnection connection) throws DataAccessException {

byte [] key = "tempkey"getBytes();

byte[] value = "tempvalue"getBytes();

connectionset(key, value);

return true;

}

});

}

public void testSet1(){

vOpsset("tempkey", "tempvalue");

}

@Autowired

private IncrDao incr;

@Test

public void addLink() {

Systemoutprintln(incrincr(13));

Systemoutprintln(incrget(13));

}

}

一、Redis了解

11、Redis介绍:

redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的 *** 作,而且这些 *** 作都是原子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改 *** 作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

Redis数据库完全在内存中,使用磁盘仅用于持久性。相比许多键值数据存储,Redis拥有一套较为丰富的数据类型。Redis可以将数据复制到任意数量的从服务器。

12、Redis优点:

(1)异常快速:Redis的速度非常快,每秒能执行约11万集合,每秒约81000+条记录。

(2)支持丰富的数据类型:Redis支持最大多数开发人员已经知道像列表,集合,有序集合,散列数据类型。这使得它非常容易解决各种各样的问题,因为我们知道哪些问题是可以处理通过它的数据类型更好。

(3) *** 作都是原子性:所有Redis *** 作是原子的,这保证了如果两个客户端同时访问的Redis服务器将获得更新后的值。

(4)多功能实用工具:Redis是一个多实用的工具,可以在多个用例如缓存,消息,队列使用(Redis原生支持发布/订阅),任何短暂的数据,应用程序,如Web应用程序会话,网页命中计数等。

13、Redis缺点:

(1)单线程

(2)耗内存

二、64位windows下Redis安装

Redis官方是不支持windows的,但是Microsoft Open Tech group 在 GitHub上开发了一个Win64的版本,下载地址:>

保障服务稳定的三大利器:熔断降级、服务限流和故障模拟。限流系统是当前很多系统都需要考虑的场景。首先在Nginx层面是可以做限流的,除此之外,在微服务层面还是有很多空间可以施展的。

限流的话,主要思路分为 请求数量限制 和 消费能力限制 两类。前者主要是限制一段时间内的总并发数、后者主要是限制消费者的消费能力。

限流算法

限流算法来说,主要包含令牌桶算法、漏桶算法和计数器等。 对于简单的计数器算法 ,通过AtomicLong#incrementAndGet()来进行粗暴的控制,因为容易导致“突刺现象”(比如单位时间1s内的前10ms,已经通过了100个请求,那后面的990ms,只能拒绝), 所以这里不做推荐 。

令牌桶算法

令牌工厂:匀速生成令牌

令牌桶:拥有固定的令牌数

应用者:一次可以申请N个令牌,没有令牌不能进行后续处理。

如果使用Redis来实现的话会比较简单,大概思路如下:

1/ 获取令牌:依靠List的leftPop来获取令牌

Objectresult = redisTemplateopsForList()leftPop("limit_list");

2/ 向令牌桶添加令牌

redisTemplateopsForList()rightPush("limit_list",UUIDrandomUUID()toString());

漏桶算法

漏桶:容量固定

流速:任意

流出水滴:固定速率

滑动窗口

用Redis的list数据结构可以轻而易举的实现该功能:保证每N秒内至多M个请求,缺点就是zset的数据结构会越来越大。实现方式相对也是比较简单的。

1/ 请求进来:UUID生成唯一的value;score用当前的时间戳

redisTemplateopsForZSet()add("limit",UUIDrandomUUID()toString(),currentTime);

2/ 限流:zset的range方法可以统计两个时间戳内的请求,达到限流效果

Integercount = redisTemplateopsForZSet()rangeByScore("limit", currentTime -

以上就是关于谁有关于redis 存储海量数据高性能的demo,请上传一下全部的内容,包括:谁有关于redis 存储海量数据高性能的demo,请上传一下、windows环境下Redis+Spring缓存实例、经典面试题——让你设计一个限流的系统怎么做等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/web/9614124.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-04-30
下一篇2023-04-30

发表评论

登录后才能评论

评论列表(0条)

    保存