
String shpath="/test/test.sh" //程序卖则路径
Process process =null
String command1 = “chmod 777 ” + shpath
try {
Runtime.getRuntime().exec(command1 ).waitFor()
} catch (IOException e1) {
e1.printStackTrace()
}catch (InterruptedException e) {
e.printStackTrace()
}
顷困 String var="201102" /参数
String command2 = “/bin/sh ” + shpath + ” ” + var
中乎棚Runtime.getRuntime().exec(command2).waitFor()
对于第一个问题:java抓取,并且把结果打包。指肆那么比较直接的做法就是,java接收各种消息(db,metaq等等),然后借助于jstorm集群进行调度和抓取。最后把抓取的结果保存到一个文件中,并且通过调用shell打包, 回传。 也许有同学会问,
为什么不直接把java调用odps直接保存文件,答案是,我们的集群不是hz集群,直接上传odps速度很有问题,因此先打包比较合适。(这里不纠结设计了,我们回到正题)
java调用shell的方法
通过ProcessBuilder进行调度
这种方法比较直观,而且参数的瞎弊设置也比较方便, 比如我在实践中的代码(我隐藏了部分业务代码):
ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, param1,
param2, param3)
pb.directory(new File(SHELL_FILE_DIR))
int runningStatus = 0
String s = null
try {
Process p = pb.start()
try {
runningStatus = p.waitFor()
} catch (InterruptedException e) {
}
} catch (IOException e) {
}
if (runningStatus != 0) {
}
return
这里有必要解释一下几个参数:
RUNNING_SHELL_FILE:要运行的脚本
SHELL_FILE_DIR:要运行的脚本所在的目录; 当然你也可以把要运行的脚本写成全路径。
runningStatus:运行状态,0标识正常。 详细可以看java文档。
param1, param2, param3:可以在RUNNING_SHELL_FILE脚本中直接通过1,2,$3分别拿到的参数。
直接通过系统Runtime执行shell
这个方法比较暴力,也比较常用, 代码如下:
p = Runtime.getRuntime().exec(SHELL_FILE_DIR + RUNNING_SHELL_FILE + " "+param1+" "+param2+" "+param3)
p.waitFor()
我们发现,通过Runtime的方式并没有builder那么方便,特别是参数方面,必须自己加空格分开,因为exec会把整个字符串唯神轿作为shell运行。
可能存在的问题以及解决方法
如果你觉得通过上面就能满足你的需求,那么可能是要碰壁了。你会遇到以下情况。
没权限运行
这个情况我们团队的朱东方就遇到了, 在做DTS迁移的过程中,要执行包里面的shell脚本, 解压出来了之后,发现执行不了。 那么就按照上面的方法授权吧
java进行一直等待shell返回
这个问题估计更加经常遇到。 原因是, shell脚本中有echo或者print输出, 导致缓冲区被用完了! 为了避免这种情况, 一定要把缓冲区读一下, 好处就是,可以对shell的具体运行状态进行log出来。 比如上面我的例子中我会变成:
ProcessBuilderpb = new ProcessBuilder("./" + RUNNING_SHELL_FILE, keyword.trim(),
taskId.toString(), fileName)
pb.directory(new File(CASPERJS_FILE_DIR))
int runningStatus = 0
String s = null
try {
Process p = pb.start()
BufferedReaderstdInput = new BufferedReader(new InputStreamReader(p.getInputStream()))
BufferedReaderstdError = new BufferedReader(new InputStreamReader(p.getErrorStream()))
while ((s = stdInput.readLine()) != null) {
LOG.error(s)
}
while ((s = stdError.readLine()) != null) {
LOG.error(s)
}
try {
runningStatus = p.waitFor()
} catch (InterruptedException e) {
}
记得在start()之后, waitFor()之前把缓冲区读出来打log, 就可以看到你的shell为什么会没有按照预期运行。 这个还有一个好处是,可以读shell里面输出的结果, 方便java代码进一步 *** 作。
也许你还会遇到这个问题,明明手工可以运行的命令,java调用的shell中某一些命令居然不能执行,报错:命令不存在!
比如我在使用casperjs的时候,手工去执行shell明明是可以执行的,但是java调用的时候,发现总是出错。
通过读取缓冲区就能发现错误日志了。 我发现即便自己把安装的casperjs的bin已经加入了path中(/etc/profile,
各种bashrc中)还不够。 比如:
exportNODE_HOME="/home/admin/node"
exportCASPERJS_HOME="/home/admin/casperjs"
exportPHANTOMJS_HOME="/home/admin/phantomjs"
exportPATH=$PATH:$JAVA_HOME/bin:/root/bin:$NODE_HOME/bin:$CASPERJS_HOME/bin:$PHANTOMJS_HOME/bin
原来是因为java在调用shell的时候,默认用的是系统的/bin/下的指令。特别是你用root权限运行的时候。 这时候,你要在/bin下加软链了。针对我上面的例子,就要在/bin下加软链:
ln -s /home/admin/casperjs/bin/casperjscasperjs
ln -s /home/admin/node/bin/nodenode
ln -s /home/admin/phantomjs/bin/phantomjsphantomjs
这样,问题就可以解决了。
如果是通过java调用shell进行打包,那么要注意路径的问题了
因为shell里面tar的压缩和解压可不能直接写:
tar -zcf /home/admin/data/result.tar.gz /home/admin/data/result
直接给你报错,因为tar的压缩源必须到路径下面, 因此可以写成
tar -zcf /home/admin/data/result.tar.gz -C /home/admin/data/ result
如果我的shell是在jar包中怎么办?
答案是:解压出来。再按照上面指示进行 *** 作。(1)找到路径
String jarPath = findClassJarPath(ClassLoaderUtil.class)
JarFiletopLevelJarFile = null
try {
topLevelJarFile = new JarFile(jarPath)
Enumeration<JarEntry>entries = topLevelJarFile.entries()
while (entries.hasMoreElements()) {
JarEntryentry = entries.nextElement()
if (!entry.isDirectory() &&entry.getName().endsWith(".sh")) {
对你的shell文件进行处理
}
}
对文件处理的方法就简单了,直接touch一个临时文件,然后把数据流写入,代码:
FileUtils.touch(tempjline)
tempjline.deleteOnExit()
FileOutputStreamfos = new FileOutputStream(tempjline)
IOUtils.copy(ClassLoaderUtil.class.getResourceAsStream(r), fos)
fos.close()
比如调用exe程序"java -version":String[] cmd = new String[] {"java", "-version"}
Process process = Runtime.getRuntime().exec(cmd)
BufferedReader r = new BufferedReader(new InputStreamReader(process.getErrorStream()))
String l = null
while((l = r.readLine()) != null) {
System.out.println(l)
}
Process有念明两个流可以读取外部程序的标准输出(就是运行结果啦),一个是盯高斗getInputStream,一个是getErrorStream。
如果要调用C或C++动态链接库中的函数的话凯磨,就要复杂一些,要用到JNI了。
欢迎分享,转载请注明来源:内存溢出
微信扫一扫
支付宝扫一扫
评论列表(0条)