如何高效地向Redis插入大量的数据

通过导入文件的方式插入，文件可以用其他方式先生成，比如使用java，来生成data1.txt，然后使用下面的sql语句：

load data local infile 'd:/data1.txt' replace into table hk_acinfo lines terminated by '\\r\\n'

使用这个方法，我插敬睁入过1千万以上的数据亮侍岁，如果没有网络影响的话，每秒1M+/s的速度写入，谈庆很快的

redis开创了一种新的数据存储思路，使用redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用redis灵活多变的数据结构和数据 *** 作，为不同的大象构建不同的冰箱。

redis常用数据类型

redis最为常用的数据类型主要有以下五种：

string

hash

list

set

sorted set

在具体描述这几种数据类型之前，我们先通过一张图了解下redis内部内存管理中是如何描述这些不同数据类型的：

首先redis内部使用一个redisobject对象来表示所有的key和value,redisobject最主要的信息如上图所示：type代表一

个value对象具体是何种数据类型，encoding是不同数据陪配蠢类型在redis内部的存储方式，比如：type=string代表value存储的是

一个普通字符串，那么对应的encoding可以是raw或者是int,如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的，当然

前提是这个字符串本身可以用数值表示，比如:"123"

"456"这样的字符串。

这里需要特殊说明一下vm字段，只有打开了redis的虚拟内存功能，此字段才会真正的分配内存，该功能默认是关闭状态的，该功能会在后面具体描述。通过

上图我们可以发现redis使用redisobject来表示所有的key/value数据是比较浪费内存的，当然这些内存管理成本的付出主要也是为了给

redis不同数据类型提供一个统一的管理接口，实际作者也提供了多种方法帮助我们尽量节省内存使用，我们随后会具体讨论。

下面我们先来逐一的分析下这五种数据类型的使用和内部实现方式：

string

常用命令：

set,get,decr,incr,mget 等。

应用场景：

string是最常用的一种数据类型，普通的key/value存储都可以归为此类，这里就不所做解释了。

实现方式：

string在redis内部存储默认就是一个字符串，被redisobject所引用，当遇到incr,decr等 *** 作时会转成数值型进行计算，此时redisobject的encoding字段为int。

hash

常用命令：

hget,hset,hgetall 等。

应用场景：

我们简单举个实例来描述下hash的应用场景，比如我们要存储一个用户信息对象数据，包含以下信息：

用户id为查找的key，存储的value用户对象包含姓名，年卖悔龄，生日等信息，如果用普通的key/value结构来存储，主要有以下2种存储方式：

第一种方式将用户id作为查找key,把其他信息封装成一个对象以序列化的方式存储，这种方式的缺点是，增加了序列化/反序列化的开销，并且在需要修改其中一项信息时，需要把整个对象取回，并且修改 *** 作需要对并发进行保护，引入cas等复杂问题。

第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿，用用户id+对应属性的名称作为唯一标识来取得对应属性的值，虽然省去了序列化开销和并发问题，但是用户id为重复存储，如果存在大量这样的数据，内存浪费还是非常可观的。

那么redis提供的hash很好的解决了这个问题，redis的hash实际是内部存储的value为一个hashmap，并提供了直接存取这个map成员的接口，如下图：

也就是说，key仍然是用户id,

value是一个map，这个map的key是成员的属性名，value是属性值，这样对数据的修改和存取都可以直接通过其内部map的key(redis里称内部map的key为field),

也就是通过 key(用户id) + field(属性标签)

就可以 *** 作对应属性数据了，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题。很好的解决了问题。

这里同时需要注意，redis提供了接口(hgetall)可以直接取到全部的属性数据,但是如果内部map的成员很多，那么涉及到遍历整个内部map的

*** 作，由于redis单线程模型的缘故，这个遍历 *** 作可能会比较耗时，而另其它客户端的请求完全不响应，这点需要格外注意。

实现方式：

上面已经说到redis

hash对应value内部实际就是一个hashmap，实际这里会有2种不同实现，这个hash的成员比较少时redis为了节省内存会采用类似一维数组的方式来紧凑存芦陪储，而不会采用真正的hashmap结构，对应的value

redisobject的encoding为zipmap,当成员数量增大时会自动转成真正的hashmap,此时encoding为ht。

list

常用命令：

lpush,rpush,lpop,rpop,lrange等。

应用场景：

redis

list的应用场景非常多，也是redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用redis的list结构来实现，比较好理解，这里不再重复。

实现方式：

redis

list的实现为一个双向链表，即可以支持反向查找和遍历，更方便 *** 作，不过带来了部分额外的内存开销，redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

set

常用命令：

sadd,spop,smembers,sunion 等。

应用场景：

redis

set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

实现方式：

set 的内部实现是一个

value永远为null的hashmap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的原因。

sorted set

常用命令：

zadd,zrange,zrem,zcard等

使用场景：

redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted

set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的集合列表，那么可以选择sorted

set数据结构，比如twitter 的public

1、在配置文件redis.conf中把绑定的Ip注释掉 

 

2、在配置文件redis.conf中把protected-mode 改为 no 

3、在配置文件redis.conf中把requirepass 设置redis访问授权密码（自己随意设置就好），也可以登录redis客户端使用命令设置：如下： 

./redis-cli 

config set requirepass 123 //123是密码 

经过以上三步基本就可以了，不过也有特殊情况，访问的端口号6379有可能会被防火墙拦截，需要关闭系统的防火墙或取消对6379端口的拦截，这里不在细述。 

接下来就可以创建项目实现 *** 作redis数据库了。在这里我用的开发工具是eclipse，在eclipse中创建一个java Project项目如下图所示： 

项目创建完亏察成后，在src同级目录下创建lib文件夹，导入 *** 作数据库所需jar包（晚上自行下载），jedis用来 *** 作数据库，commons-pool用来实现并正数据库连接池。 

启动redis服务器： 

创建RedisDemoSimple.java代码如下：

package com.redis.redisDb

import redis.clients.jedis.Jedispublic class RedisDemoSimple {    public static void main(String[] args) {        //ip地址为虚拟机Ip 端口为redis端口

        Jedis jedis = new Jedis("192.168.228.129", 6379)        //redis访问权限 为redis配置文件中redis.conf中配置的requirepass

        jedis.auth("myredis")

        jedis.set("redis_first", "hello")

        System.out.println("key redis_first:"+jedis.get("redis_first"))

    }

}

控销蔽茄制台打印如下：

启动redis客户端查询插入数据库的值： 

 

到此就连接成功了。

---