redis集群进入指定db

出于某种原因，redis 0库被占用，所以scrapy_redis必须要去指定连接的db

这里记录两种方式来指定db （均是在settings中更改）

REDIS_URL

REDIS_URL = ‘redis://127001:6379/11’(REDIS_URL 就是用于爬虫来读取redis 数据库的)

REDIS_PARAMS (scrapy_redis 默认有 REDIS_PARAMS 这个参数，且会自动将你的 REDIS_PARAMS 用你的指定的值更新。所以我们可以这样写)

REDIS_PARAMS = {

‘db’: 11

}

第一步，在windows安装配置好redis数据库。这里我就不再概述了。jedis-242jar，当然最好是最新版本的jar包。这个在下就出来的。后，放在一个文件夹下面，一会会需要到。

第二步。打开eclipse,新建一个java工程。如下图所示：

第三步：在Test这个java工程里面，我们新建一个folder，命名lib,把刚才的jedis-242jar包放在我们新建的lib的包下面，如下图所示：

第四步，在eclipse中，选中jar包，build path下。然后我们再Test这个项目里面我们新建一个class，class名字为TestConnect。

第五步，在类里面，我们输入如下的内容：

// Connecting to Redis server on localhost

//实例化一个客户端

Jedis jedis = new Jedis("localhost");

//=================================================

// check whether server is running or not

//ping下，看看是否通的

Systemoutprintln("Server is running: " + jedisping());

//保存一个

jedisset("leiTest", "localhost Connection sucessfully");

//获取一个

Systemoutprintln("通过key获取value： " + jedisget("leiTest"));

第六步，对刚才的类进行运行，ctrl+f11快捷键运行下，如下图所示：

第七步，进一步验证我们是否在redis上是否保存了数据，并且能够取出来，我们到redis安装包的目录，如下图，打开红色框内的 redis-cliexe,打开后，我们进入下面的第二个的界面。

第八步：我们在redis的客户端的界面 输入 get leiTest 这个指令。leiTest是刚才在eclipse中我们存入redis数据库中的一个String类型的键。如下图，证明我们确实成功了，你也试试吧。

任何兼容Redis协议的客户端都可以访问云数据库Redis实例，建议使用移动云推荐的方式，比如移动云Jedis客户端，避免出现某些命令不支持的问题。同时，云数据库Redis目前仅支持移动云内网访问。此外，在连接Redis时，如果经常出现固定时间连接超时，有可能是因为一些中间件设置了超时时间（如nginx、haproxy），导致应用在固定时间不连接Redis后，连接被中间件主动断开，此时可以选择定时连接一次Redis或者增大中间件超时时间，防止连接主动断开。在“狂欢双11，「移」价到底”这一活动中，新用户可以领取云数据库Redis的3折优惠券，订购更优惠。了解移动云云数据库Redis更多详情，欢迎注册登录移动云官网→>

1 连接mysql 数据库

shell中连接数据库的方法很简单，只需要指定用户名，密码，连接的数据库名称，然后通过重定向，输入mysql的语句，如下所示：

mysql -u USERNAME -p PASSWORD DATABASENAME <<EOF 2>/dev/null

show databases;

EOF

但这并不是一个好办法，任何使用该脚本的用户都能看到该数据库用户的账号和密码，要解决这个问题，可以用mysql 数据库的一个特殊配置文件。mysql 数据库使用$HOME/mycnf 文件来读取特殊的启动命令和设置。其中一项设置是由该用户账户发起的mysql 会话的默认密码。要在这个文件中设置默认密码，可以加入下面的内容：

[client]

password = 123456

然后，别忘了修改权限：chmod 400 mycnf

这样就可以通过脚本访问mysql数据库了，如下所示：

#!/bin/bash

MYSQL=`which mysql`

$MYSQL test -u root << EOF

show databases;

show tables;

select from employees where salary > 4000;

EOF

2 创建数据库

通过上面的方法连接数据库，再通过重定向输入mysql语句，shell中读写mysql基本就介绍完了。只要把sql语句写对了，通过重定向执行即可，下面来看一个实例：

#!/bin/bash

##############################

# @file create_db_mysqlsh

# @brief create database and tables in mysql

# @author Mingxing LAI

# @version 01

# @date 2013-01-20

##############################

USER="root"

DATABASE="students"

TABLE="students"

######################

#crate database

mysql -u $USER << EOF 2>/dev/null

CREATE DATABASE $DATABASE

EOF

[ $ -eq 0 ] && echo "created DB" || echo DB already exists

######################

#create table

mysql -u $USER $DATABASE << EOF 2>/dev/null

CREATE TABLE $TABLE(

id int,

name varchar(100),

mark int,

dept varchar(4)

);

EOF

[ $ -eq 0 ] && echo "Created table students" || echo "Table students already exist"

######################

#delete data

mysql -u $USER $DATABASE << EOF 2>/dev/null

DELETE FROM $TABLE;

EOF

这个脚本比较简单，就是几条SQL语句，没什么好解释的，下面来看一下，如何读入csv 文件，然后插入到mysql数据库中。

3 插入csv 文件

上面创建了一个学生表，表中有学生的学号，姓名，成绩，系别，假设有一个csv文件，内容如下：

$cat data

1,Navin M,98,CS

2,Kavya N,70,CS

3,Nawaz O,80,CS

4,Hari S,80,EC

5,Alex M,50,EC

6,Neenu J,70,EC

7,Bob A,30,EC

8,Anu M,90,AE

9,Sruthi,89,AE

10,Andrew,89,AE

为了将csv 文件插入到数据库，我们需要逐行读入，然后给字符串加上双引号，最后生成语句如下：

insert into students VALUES(1, "Navin M", 98, "CS");

要解析csv 文件，最好的工具莫过于awk了，将域的分隔符指定为逗号-F,，awk就自动将各个域拆分出来了，然后在需要双引号的地方打印输出一个双引号，就能够轻松得到下面这样的数据：

1, "Navin M", 98, "CS" awk 代码如下：query=`echo $line | awk -F, '{ printf("%s,\"%s\",%s,\"%s\"", $1, $2, $3, $4)}'`

statement=`echo "INSERT INTO $TABLE VALUES($query);"`

echo $statement

当然了，你也可以用其他办法，不过，几乎没有比awk更简单的了，第2种方法如下：

oldIFS=$IFS

IFS=,

values=($line)

values[1]="\"`echo ${values[1]} | tr ' ' '#' `\""

values[3]="\"`echo ${values[3]}`\""

query=`echo ${values[@]} | tr ' #' ', '`

IFS=$oldIFS

statement=`echo "INSERT INTO $TABLE VALUES($query);"`

echo "$statement"

首先通过指定域分隔符，将csv文件解析成一个数组，然后将空格替换成一个特殊的符号"#"（因为后面的替换中，会一次性输出数组，而数组是用空格分隔各字段,我们要将分隔数组的空格替换成逗号，所以这里将数据中的空格替换成"#"） ，给字符串加上双引号，最后再把空格替换成逗号，把"#"替换为空格。这种方法真是让人抓狂，我第一次就没有看明白，尤其是为什么要将空格替换成"#"。

完整的插入数据的程序如下：

#!/bin/bash

#

# @file write_to_db_mysqlsh

# @brief wirte data to database in mysql

# @author Mingxing LAI

# @version 01

# @date 2013-01-20

#

USER="root"

DATABASE="students"

TABLE="students"

if [ $# -ne 1 ]; then

echo $0 DATAFILE

echo

exit 2

fi

data=$1

while read line;

do

# query=`echo $line | awk -F, '{ printf("%s,\"%s\",%s,\"%s\"", $1, $2, $3, $4)}'`

oldIFS=$IFS

IFS=,

values=($line)

values[1]="\"`echo ${values[1]} | tr ' ' '#' `\""

values[3]="\"`echo ${values[3]}`\""

query=`echo ${values[@]} | tr ' #' ', '`

IFS=$oldIFS

statement=`echo "INSERT INTO $TABLE VALUES($query);"`

# echo $statement

mysql -u $USER $DATABASE << EOF

INSERT INTO $TABLE VALUES($query);

EOF

done < $data

if [[ $ -eq 0 ]]; then

echo "Wrote data into DB"

fi

4 读取数据

知道怎么在shell 中连接mysql ，也知道了怎么在shell中批量执行sql 语句，读取数据，就没有任何难度了。

#!/bin/bash

#

# @file read_db_mysqlsh

# @brief read data from mysql

# @author Mingxing LAI

# @version 01

# @date 2013-01-20

#

USER="root"

DATABASE="students"

TABLE="students"

#用tail 去掉表头

depts=`mysql -u $USER $DATABASE <<EOF | tail -n +2

SELECT DISTINCT dept FROM $TABLE;

EOF`

for d in $depts; do

echo Department: $d

result="`mysql -u $USER $DATABASE << EOF

set @i:=0;

SELECT @i:=@i+1 as rank, name, mark FROM students WHERE dept="$d" ORDER BY mark DESC;

EOF`"

echo "$result"

echo

done

我们还可以在mysql语句中，使用选项来控制数据的输出格式

-H 输出为html

-X 输出为xml

如下所示：

#!/bin/bash

USER="root"

DATABASE="students"

TABLE="students"

mysql -u $USER $DATABASE -H << EOF

select from $TABLE

EOF

html 格式的可读性比较差，输出效果如下：

<TABLE BORDER=1><TR><TH>id</TH><TH>name</TH><TH>mark</TH><TH>dept</TH></TR><TR><TD>1</TD><TD>Navin M</TD><TD>98</TD><TD>CS</TD></TR><TR><TD>2</TD><TD> Kavya N</TD><TD>70</TD><TD>CS</TD></TR><TR><TD>3</TD><TD> Nawaz O</TD><TD>80</TD><TD>CS</TD></TR><TR><TD>4</TD><TD>Hari S</TD><TD>80</TD><TD>EC</TD></TR><TR><TD>5</TD><TD>Alex M</TD><TD>50</TD><TD>EC</TD></TR><TR><TD>6</TD><TD>Neenu J</TD><TD>70</TD><TD>EC</TD></TR><TR><TD>7</TD><TD>Bob A</TD><TD>30</TD><TD>EC</TD></TR><TR><TD>8</TD><TD>Anu M</TD><TD>90</TD><TD>AE</TD></TR><TR><TD>9</TD><TD>Sruthi</TD><TD>89</TD><TD>AE</TD></TR><TR><TD>10</TD><TD>Andrew</TD><TD>89</TD><TD>AE</TD></TR></TABLE>

可读性差也可以理解，因为人家觉得，你没必要修改么，直接以html形式展示数据就可以了。id name mark dept

1 Navin M 98 CS

2 Kavya N 70 CS

3 Nawaz O 80 CS

4 Hari S 80 EC

5 Alex M 50 EC

6 Neenu J 70 EC

7 Bob A 30 EC

8 Anu M 90 AE

9 Sruthi 89 AE

10 Andrew 89 AE

xml形式的数据显示就比较正常了，直接将上面的-H 换成-X,输出如下：<xml version="10">

<resultset statement="select from students" xmlns:xsi=">

Redis 是一个高性能的key-value数据库, 使用内存作为主存储，数据访问速度非常快，当然它也提供了两种机制支持数据持久化存储比较遗憾的是，Redis项目不直接支持Windows，Windows版项目是由微软开放技术团队建立和维护一个实验性项目(支持32,64位)，所以并不适用生产环境，但可在Windows环境下用于开发测试。

1下载安装

猛戳这里就到了开源首页，下载源码包，解压ZIP包后进入msvsbinrelease文件夹有三个文件分别对应32,64位,windows服务三个版本，在这里我们选择64位为例,解压redisbin64zip 到D:redis24，这里主要用到redis-serverexe和redis-cliexe, redis-server用于运行Redis服务器,redis-cli是命令行客户端,通过它连接Redis服务器，并使用Redis命令进行各种 *** 作。

2服务启动配置

复制源码包根目录下redisconf到D:redis24,打开CMD命令提示符,输入以下命令启动redis服务。

启动：

redis-server redisconf

这样redis服务就启动成功了。

配置：

更改redis的配置需要修改redisconf文件,以下是它一些主要的配置注释：

#是否作为守护进程运行  daemonize no  #Redis 默认监听端口  port 6379  #客户端闲置多少秒后，断开连接  timeout 300  #日志显示级别  loglevel verbose  #指定日志输出的文件名，也可指定到标准输出端口  logfile redislog  #设置数据库的数量，默认最大是16,默认连接的数据库是0，可以通过select N 来连接不同的数据库  databases 32  #Dump持久化策略  #当有一条Keys 数据被改变是，900 秒刷新到disk 一次  #save 900 1  #当有10 条Keys 数据被改变时，300 秒刷新到disk 一次  save 300 100  #当有1w 条keys 数据被改变时，60 秒刷新到disk 一次  save 6000 10000  #当dump     rdb 数据库的时候是否压缩数据对象  rdbcompression yes  #dump 持久化数据保存的文件名  dbfilename dumprdb  ###########    Replication #####################  #Redis的主从配置,配置slaveof则实例作为从服务器  #slaveof 1921680105 6379  #主服务器连接密码  # masterauth <master-password>  ############## 安全性 ###########  #设置连接密码  #requirepass <password>  ############### LIMITS ##############  #最大客户端连接数  # maxclients 128  #最大内存使用率  # maxmemory <bytes>  ########## APPEND ONLY MODE #########  #是否开启日志功能  appendonly no  # AOF持久化策略  #appendfsync always  #appendfsync everysec  #appendfsync no  ################ VIRTUAL MEMORY ###########  #是否开启VM 功能  #vm-enabled no  # vm-enabled yes  #vm-swap-file logs/redisswap  #vm-max-memory 0  #vm-page-size 32  #vm-pages 134217728  #vm-max-threads 4

主从复制

在从服务器配置文件中配置slaveof ,填写服务器IP及端口即可,如果主服务器设置了连接密码,在masterauth后指定密码就行了。

持久化

redis提供了两种持久化文案,Dump持久化和AOF日志文件持久化。      Dump持久化是把内存中的数据完整写入到数据文件,由配置策略触发写入,如果在数据更改后又未达到触发条件而发生故障会造成部分数据丢失。      AOF持久化是日志存储的,是增量的形式,记录每一个数据 *** 作动作,数据恢复时就根据这些日志来生成。  

3命令行 *** 作

使用CMD命令提示符,打开redis-cli连接redis服务器 ,也可以使用telnet客户端

# redis-cli -h 服务器 –p 端口 –a 密码

redis-cliexe -h 127001 -p 6379

连接成功后，就可对redis数据增删改查了,如字符串 *** 作：

以下是一些服务器管理常用命令:

info   #查看服务器信息  select <dbsize> #选择数据库索引  select 1  flushall #清空全部数据  flushdb  #清空当前索引的数据库  slaveof <服务器> <端口>  #设置为从服务器  slaveof no one #设置为主服务器  shutdown  #关闭服务

以上就是关于redis集群进入指定db全部的内容，包括:redis集群进入指定db、怎么在java中传redis命令、使用什么客户端可以连接云数据库Redis实例等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！