【shell笔记>文本处理|专项】Linux数据文本处理工具(3)

sed 命令从文本或者标准输入中每次读入一行数据。

我们先从简单的实例出发，看下该命令怎么将一列中的 chrm12 , chrom2 等转换成 chr12 ， chr2 的格式。

虽然示例文件处理仅仅只有三行，但我们可以将这种处理方式运用到上G甚至更大的数据文件中，而不用打开整个文件进行处理。并且，可以借助重导向实现对数据处理结果的输出。

sed 替换命令采用的格式是

sed 会自动搜索符合 pattern 的字符串，然后修改为 replacement （我们想要修改后的样子）。一般默认 sed 只替换第一个匹配的 pattern ，我们可以通过添加全局标识 g 将其应用到数据的所有行中。

如果我们想要忽略匹配的大小写，使用 i 标识

默认 sed 命令支持基本的POSIX正则表达式（BRE），可以通过 -E 选项进行拓展（ERE）。很多的Linux命令都这种方式，像常用的 grep 命令。

再看一个实例，如果我们想把 chr1:28647389-28659480 这样格式的文字转换为三列，可以使用：

我们聚焦在第二个命令 sed 上。初看杂乱无章，但是从最大的结构看依旧是

先看 pattern 部分，这是由几个简单正则表达式组成的复合体，几个 () 括起来的字符串可以单独看。第一个匹配 chr 加上一个非冒号的字符，第二个和第三个都是匹配多个数字。最开始的 ^ 表示以 chr 起始（前面没有字符），各个括号中间的是对应的字符。整体的 pattern 的目的就是为了找到文本中符合这种模式的字符串，如果只是想把这个模式找出来的话，几个括号可以不用加。显然这几个括号的作用就是将它们划分成多个域，帮助 sed 进行处理。可以看到 replacement 部分存在 \1 , \2 , \3 ，它恰好对应 () 的顺序。这样我们在中间插入 \t 制表符，就可以完成我们想要的功能：将原字符串转换为三列。

我本身对字符串并不是非常熟悉，懂一些元字符，可能讲解的不是很到位。不熟悉正则表达式的朋友，可以学习和参考下 学习正则表达式 ，是我从Github上Copy到的非常好的学习资料，有兴趣也可以Fork学习。

上山的路总是有很多条，我们下面看下其他实现该功能的办法：

这三种方式看起来都非常简单有效。它处理字符串的思路不是从匹配pattern然后替换入手，不对，应该说是不是从匹配所有pattern然后替换入手。处理的关键是只处理字符串中看似无用的连字符 : 与 - ，将其替换成制表符从而轻松完成分割。

sed 's/:/\t/' | sed 's/-/\t/' 可以通过 -e 选项写为 sed -e 's/:/\t/' -e 's/-/\t/' ，效果等价。

默认 sed 命令支持基本的POSIX正则表达式（BRE），可以通过 -E 选项进行拓展（ERE）。很多的Linux命令都这种方式，像常用的 grep 命令。

再看一个实例，如果我们想把 chr1:28647389-28659480 这样格式的文字转换为三列，可以使用：

我们聚焦在第二个命令 sed 上。初看杂乱无章，但是从最大的结构看依旧是

先看 pattern 部分，这是由几个简单正则表达式组成的复合体，几个 () 括起来的字符串可以单独看。第一个匹配 chr 加上一个非冒号的字符，第二个和第三个都是匹配多个数字。最开始的 ^ 表示以 chr 起始（前面没有字符），各个括号中间的是对应的字符。整体的 pattern 的目的就是为了找到文本中符合这种模式的字符串，如果只是想把这个模式找出来的话，几个括号可以不用加。显然这几个括号的作用就是将它们划分成多个域，帮助 sed 进行处理。可以看到 replacement 部分存在 \1 , \2 , \3 ，它恰好对应 () 的顺序。这样我们在中间插入 \t 制表符，就可以完成我们想要的功能：将原字符串转换为三列。

我本身对字符串并不是非常熟悉，懂一些元字符，可能讲解的不是很到位。不熟悉正则表达式的朋友，可以学习和参考下 学习正则表达式 ，是我从Github上Copy到的非常好的学习资料，有兴趣也可以Fork学习。

上山的路总是有很多条，我们下面看下其他实现该功能的办法：

这三种方式看起来都非常简单有效。它处理字符串的思路不是从匹配pattern然后替换入手，不对，应该说是不是从匹配所有pattern然后替换入手。处理的关键是只处理字符串中看似无用的连字符 : 与 - ，将其替换成制表符从而轻松完成分割。

sed 's/:/\t/' | sed 's/-/\t/' 可以通过 -e 选项写为 sed -e 's/:/\t/' -e 's/-/\t/' ，效果等价。

默认， sed 会输出每一行的结果，用 replacement 替换 pattern ，但实际中我们可能会因此得到不想要的结果。比如下面的这个例子。

如果我们想要抓出 gtf 文件第九列的转录名，可能会使用以下命令

我们可以发现一些没有转录名行的结果是输出整行，这可不是我们想要的。一种解决办法是在使用 sed 之前先抓出有 transcript_id 的行。其实 sed 命令本身也可以通过选项和参数设定解决这个问题，这里我们可以用 -n 选项关闭 sed 输出所有行，在最末的 / 后加 p 只输出匹配项。

注意方括号内 ^ 是非（取反）的意思。

解释如下：

+ 号的使用是一种非贪婪的方法。很多新手会用 ，这是贪婪 *** 作，往往会得不偿失，需要注意喔。

使用 时它会尽量多地去匹配符合要求的模式。

我们也可以用 sed 命令来获取特定范围的行，比如说我要取出头10行，可以使用

20到50行

当然 sed 的功能特性远远不止这些，有待于大家更多地挖掘。不过需要注意的是，尽量让工具干它最擅长的事情。如果是复杂地大规模计算，还是最好写个Python脚本。

首先需要记住 连续 命令和 管道 命令的区别：前者是简单地一个一个按顺序运行程序（一般用 && 或者 ; ）；后者前一个程序的输出结果会直接传到下一个命令程序的输入中（这不就是流程化 *** 作么，用 | 分隔）。

子shell可以让我们在一个独立的shell进程中执行连续命令。

首先看个例子

发现仅仅加了个括号，结果就不同了。第二个命令就用了子shell，它把两个 echo 命令放进单独的空间执行后将结果传给下游。

子shell在对 gtf 文件进行 *** 作时有个非常有意思有用的用处。我们如果想对 gtf 文件排序，但是又想要保留文件头部注释信息，我们就能够用两次 grep *** 作分别抓出注释和非注释信息，然后又把它结合在一起。下面看看效果，用 less 进行检查：

可以看到，子shell确实能够给我们提供非常有用的 *** 作去组合命令实现想要的功能。

很多生信命令行工具需要提供多个输入和输出参数，这用在管道命令里可能会导致非常低效的情形（管道只接受一个标准输入和输出）。幸好，我们可以使用命令管道来解决此类问题。

命名管道 ，也成为FIFO（先入先出，额，这不是队列么:smile:）。它是一个特殊的排序文件，命名管道有点像文件，它可以永久保留在你的文件系统上（估计本质就是文件吧~）。

我们用 mkfifo 来生成它

可以它看它权限的第一个字符是p，指代是pipe。说明是个特殊文件。

我们像文件一样对它进行一些 *** 作

比如当使用一个生信命令行工具

in1fq in2fq 就可以上游输出数据到 processing_tool 的命名管道；同理 out1fq out2fq 可以是命名管道用来写进输出数据。

但这样我们每次都得不停地创建和删除这些文件，解决办法是使用匿名管道，也叫进程替换。

不能光说，看看例子就知道和理解了。

echo 命令运行后使用了进程替换，产生匿名文件，然后匿名文件被重导向 cat 命令。

把它用到工具上，就变成了(假定上游zcat下游执行grep命令)

关于Linux数据处理工具内容全部整理发布在我的博客上。 详情点击

没太理解，如果上面的内容存为data文件可以用下面的命令取出

test

123456

我想你应当用find

搜寻下一小时内修改过的文件

然后用下面的sed命令取一下就行了，其实也可以用grep

看你都具体情况吧

echo

$(sed

-n

'/id="/{s/id="//;s/">//p};/value/{s/

//;s/<\/value>//p}'

data)

一些经典的 Shell 脚本面试问题 - CSDN博客

1 如何在脚本中使用参数

第一个参数 : $1，第二个参数 :$2

例子 : 脚本会复制文件(arg1) 到目标地址(arg2)

/copysh file1txt /tmp/

cat copysh

#!/bin/bash

cp $1 $2

2 如何计算传递进来的参数

$#

3 如何检查之前的命令是否运行成功

$

4 如何获取文件的最后一行

tail -1

5 如何获取文件的第一行

head -1

6 如何获取一个文件每一行的第三个元素

awk'{print $3}'

7 假如文件中每行第一个元素是FIND，如何获取第二个元素

awk'{ if ($1 == "FIND") print$2}'

8 如何调试 bash 脚本

将 -xv 参数加到#!/bin/bash 后

例子：

#!/bin/bash –xv

9 举例如何写一个函数

function example {

echo "Hello world!"

}

10 如何向连接两个字符串

V1="Hello"

V2="World"

V3=${V1}${V2}

echo $V3

输出

HelloWorld

11 如何进行两个整数相加

V1=1

V2=2

let V3=$V1+$V2

echo $V3

输出

3

12 如何检查文件系统中是否存在某个文件

if [ -f /var/log/messages ]

then

echo "File exists"

fi

13 写出 shell 脚本中所有循环语法

for 循环 :

foriin$(ls);do

echo item:$i

done

while 循环 :

#!/bin/bash

COUNTER=0

while [ $COUNTER -lt 10 ]; do

echo The counter is $COUNTER

let COUNTER=COUNTER+1

done

until 循环 :

#!/bin/bash

COUNTER=20

until [ $COUNTER -lt 10 ]; do

echo COUNTER $COUNTER

let COUNTER-=1

done

14 每个脚本开始的#!/bin/sh 或 #!/bin/bash 表示什么意思

这一行说明要使用的 shell。#!/bin/bash表示脚本使用 /bin/bash。对于 python 脚本，就是 #!/usr/bin/python。

15 如何获取文本文件的第 10 行

head -10 file|tail -1

16 bash 脚本文件的第一个符号是什么

#

17 命令：[ -z"" ] && echo 0 || echo 1 的输出是什么

0

18 如何在后台运行脚本

nohup command&

19 "chmod 500 script" 做什么

使脚本所有者拥有可执行权限。

20  ">" 做什么

重定向输出流到文件或另一个流。

21 & 和&& 有什么区别

& - 希望脚本在后台运行的时候使用它

&& - 当前一个脚本成功完成才执行后面的命令/脚本的时候使用它

22 bash shell 脚本中哪个符号用于注释

#

23 ' 和 " 引号有什么区别

' - 当我们不希望把变量转换为值的时候使用它。

" - 会计算所有变量的值并用值代替。

24 如何在脚本文件中重定向标准输出和标准错误流到logtxt 文件

在脚本文件中添加 "exec >logtxt2>&1" 命令。

25 如何只用 echo 命令获取字符串变量的一部分

echo ${variable:x:y}

x - 起始位置

y - 长度

例子:

variable="My name is Petras, and I amdeveloper"

echo ${variable:11:6} # 会显示 Petras

26 如何使用 awk 列出 UID 小于 100 的用户

awk -F: '$3<100' /etc/passwd

27 写程序为用户计算主组数目并显示次数和组名

cat /etc/passwd|cut -d: -f4|sort|uniq-c|while read c g

do

{ echo $c; grep :$g: /etc/group|cut -d:-f1;}|xargs -n 2

done

28 如何获取变量长度

${#variable}

29 如何打印变量的最后 5 个字符

echo ${variable: -5}

30 如何只用 echo 命令替换字符串的一部分

echo ${variable//pattern/replacement}

31 如何计算本地用户数目

wc -l /etc/passwd|cut -d" " -f1 或者 cat /etc/passwd|wc -l

32 不用 wc 命令如何计算字符串中的单词数目

set ${string}

echo $#

33 如何列出第二个字母是 a 或 b 的文件

ls -d [ab]

34 如何将整数 a 加到 b 并赋值给 c

c=$((a+b))

或

c=`expr $a + $b`

或

c=`echo "$a+$b"|bc`

35 如何去除字符串中的所有空格

echo $string|tr -d " "

36 写出输出数字 0 到 100 中 3 的倍数(0 3 6 9…)的命令

for i in {01003}; do echo $i; done

或

for (( i=0; i<=100; i=i+3 )); do echo"Welcome $i times"; done

37 如何打印传递给脚本的所有参数

echo $

或

echo $@

38  [ $a == $b ] 和[ $a -eq $b ] 有什么区别

[ $a == $b ] - 用于字符串比较

[ $a -eq $b ] - 用于数字比较

39 = 和 == 有什么区别

= - 用于为变量赋值

== - 用于字符串比较

40 写出测试 $a 是否大于 12 的命令

[ $a -gt 12 ]

41 如何检查字符串是否以字母"abc" 开头

[[ $string == abc ]]

42 [[ $string == abc ]] 和 [[ $string == "abc" ]] 有什么区别

[[ $string == abc ]] - 检查字符串是否以字母 abc 开头

[[ $string == "abc" ]] - 检查字符串是否完全等于 abc

43 如何列出以 ab 或 xy 开头的用户名

egrep "^ab|^xy" /etc/passwd|cut-d: -f1

44 bash 中 $! 表示什么意思

后台最近执行命令的 PID

45 $ 表示什么意思

前台最近命令的结束状态。

46 如何输出当前 shell 的 PID

echo $$

47 $ 和 $@ 有什么区别

$ - 以一个字符串形式输出所有传递到脚本的参数

$@ - 以 $IFS 为分隔符列出所有传递到脚本中的参数

48 如何在 bash 中定义数组

array=("Hi" "my""name" "is")

49 如何打印数组的第一个元素

echo ${array[0]}

50 如何打印数组的所有元素

echo ${array[@]}

51 如何输出所有数组索引

echo ${!array[@]}

52 shell 脚本如何获取输入的值

a) 通过参数

/script param1 param2

b) 通过 read 命令

read -p "Destination backup Server :" desthost

以上就是关于【shell笔记>文本处理|专项】Linux数据文本处理工具(3)全部的内容，包括:【shell笔记>文本处理|专项】Linux数据文本处理工具(3)、如何用shell读取文件中的第二行开始的每一列的数据、shell知识点等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！