Shell编程注意点 ( by quqi99 )

Shell编程注意点 ( by quqi99 )

作者：张华写于：发表于：2011-04-06
版权声明：可以任意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明

( http://blog.csdn.net/quqi99 )

1 在 shell 脚本中调用另一个脚本的三种不同方式 (fork, exec, source)

我们先谈谈在 shell 脚本中调用另一个脚本的三种不同方式的区别（ fork, exec, source )

• fork ( /directory/script.sh ), fork 是最普通的 , 就是直接在脚本里面用 /directory/script.sh 来调用 script.sh 这个脚本 . 运行的时候开一个 sub-shell 执行调用的脚本， sub-shell 执行的时候 , parent-shell 还在。 sub-shell 执行完毕后返回 parent-shell. sub-shell 从 parent-shell 继承环境变量 . 但是 sub-shell 中的环境变量不会带回 parent-shell

• exec (exec /directory/script.sh) exec 与 fork 不同，不需要新开一个 sub-shell 来执行被调用的脚本 . 被调用的脚本与父脚本在同一个 shell 内执行。但是使用 exec 调用一个新脚本以后 , 父脚本中 exec 行之后的内容就不会再执行了。这是 exec 和 source 的区别

• source (source /directory/script.sh) 与 fork 的区别是不新开一个 sub-shell 来执行被调用的脚本，而是在同一个 shell 中执行 . 所以被调用的脚本中声明的变量和环境变量 , 都可以在主脚本中得到和使用 .

可以通过下面这两个脚本来体会三种调用方式的不同 :

1.sh

#!/bin/bash
A=B
echo "PID for 1.sh before exec/source/fork:$$"
export A
echo "1.sh: /$A is $A"
case $1 in
exec)
echo "using exec…"
exec ./2.sh ;;
source)
echo "using source…"
. ./2.sh ;;
*)
echo "using fork by default…"
./2.sh ;;
esac
echo "PID for 1.sh after exec/source/fork:$$"
echo "1.sh: /$A is $A"

2.sh

#!/bin/bash
echo "PID for 2.sh: $$"
echo "2.sh get /$A=$A from 1.sh"
A=C
export A
echo "2.sh: /$A is $A"

执行情况：

$ ./1.sh
PID for 1.sh before exec/source/fork:5845364
1.sh: $A is B
using fork by default…
PID for 2.sh: 5242940
2.sh get $A=B from 1.sh
2.sh: $A is C
PID for 1.sh after exec/source/fork:5845364
1.sh: $A is B
$ ./1.sh exec
PID for 1.sh before exec/source/fork:5562668
1.sh: $A is B
using exec…
PID for 2.sh: 5562668
2.sh get $A=B from 1.sh
2.sh: $A is C
$ ./1.sh source
PID for 1.sh before exec/source/fork:5156894
1.sh: $A is B
using source…
PID for 2.sh: 5156894
2.sh get $A=B from 1.sh
2.sh: $A is C
PID for 1.sh after exec/source/fork:5156894
1.sh: $A is C
$

2 函数调用

先看一个例子，执行 mysql 的函数 mysqlExec, 如下：

source “mysql.conf”

mysqlExec(){

sql=$1

sqlOp=`echo ${sql:0:6}| tr A-Z a-z`

if [ "$sqlOp" != "select" ]; then

sql=$sql"; select row_count();"

fi

# use different mysql command depends on the password

if [ -z $MYSQL_PASSWORD ]

then

$mysql $MYSQL_DATABASE -h$MYSQL_HOSTNAME -u$MYSQL_USERNAME -se "${sql};"

else

$mysql $MYSQL_DATABASE -h$MYSQL_HOSTNAME -u$MYSQL_USERNAME -p$MYSQL_PASSWORD -se "${sql};"

fi

status=$?

if [ $status -eq 0 ]; then

if [ "$sqlOp" != "select" ]; then

log "OK $sql"

fi

else

log "Occur DB Error, can retry in 3 seconds later -> $sql"

sleep 3

echo "DB_ERROR"

fi

return $status

exit

}

函数调用要注意两点：

1 ） 函数中可以用 echo, 如上面的 echo "DB_ERROR" ，在调用时要获取 echo 的值，应该这样 :

campaign=`mysqlExec "$sql"`

if [ "x$campaign" == "x" -o "$campaign" == "DB_ERROR" ]; then

continue

fi

2) 函数中也可以有返回值，如上面的 return $status ， 在调用时应该通过 $? 获得，如：

if [ $? -eq 0 ]; then

echo “zhanghua”

fi

3 shell 中的要用局部变量很纠结

你会看到 shell 有一个非常大的缺点，就是它在函数调用时，没有局部变量与全局变量之分，如 A 脚本调用 B 脚本中的一个函数，在 B 脚本内部有一个变量 vari （你可能受 JAVA 影响认为它是局部变量那就大错特错了），如果 A 脚本中也有这个名为 vari 的变量，那么在函数返回时， B 脚本的那个 vari 变量会将 A 脚本的 vari 变量覆盖，举个例子：

updateWithOptimisticLock(){

rand=$1

campaignId=$2

seq=1

updateVal=-1

status=1

while [ true ]; do

if [ $seq -gt 3 ]; then

log "FATAL ERROR, Update num error, $updatesql"

break

fi

cur=`queryCur "$campaignId"`

if [ "$cur" == "DB_ERROR" ]; then

continue

fi

updateVal=$(($cur+$rand))

if [ "$rand" == "0" ]; then

break

fi

updatesql="update t_campaign_ set num=$updateVal where campaign_id=$campaignId and num=$cur"

affectRows=`mysqlExec "$updatesql"`

if [ "$affectRows" == "1" ]; then

status=0

break

fi

seq=$(($seq+1))

done

echo $updateVal

return $status

}

调用的伪码如下，这时里面的 seq 变量会被上述 updateWithOptimisticLock 函数中的变量 seq 给覆盖，所以在 shell 中没有局部变量一说

seq=1

while [ $seq -le $cycleNum ]; do

updateFakeNumWithOptimisticLock $rand $campaignId

done

4 使用 xargs 来传参数

在 shell 中的管道符 | 很强大，可以将前一条命令的标准输出作为下一条命令的标准输入，但是如果下一条命令不是标准输入而是需要传参的话，那怎么办呢，用 xargs 即可，例如下列 shell 中 xargs 命令的 -i 选项告诉 xargs 用前一条命令的标准输出去替换 {} 。

find . | xargs zgrep "<URL>/Search?" | sed 's/.*q=/([-_*()~.%+0-9A-Za-z]*/).*//1/' | sort -nr | uniq -c | sort -nr | head -1000 | xargs -i php -r "echo rawurldecode('{}')./"/n/";" > result.out &

当然 exec 也可以实现上述功能，只是 exec 都是一次性读入内存容易内存溢出，如：

find . -name "*.m4" -exec grep --color -H "catalina" {} /;

5 shell 中的 sed 命令使用的正则是缩水版

shell 中的 sed 命令使用的正则引擎和我们 java 中平常所用正则引擎并不一样，功能比较弱。

如上节中的 | sed 's/.*q=/([-_*()~.%+0-9A-Za-z]*/) ，就是因为 shell 的很多正则不支持，才在使用 sed 命令时用了那么多枚举。