Linux基础系列文章大纲
Shell系列文章大纲

通过getopt设计shell脚本选项

man 1 getopt翻译：https://www.junmajinlong.com/shell/getopt_translate

写shell脚本的时候，通过while、case、shift来设计脚本的命令行选项是一件比较麻烦的事，因为Unix命令行的选项和参数自由度很高，支持短选项和长选项，参数可能是可选的，选项顺序可能是无所谓的，等等。

bash下的getopt命令可以解析命令行的选项和参数，将散乱、自由的命令行选项和参数进行改造，得到一个完整的、规范化的参数列表，这样再使用while、case和shift进行处理就简单的太多了。

getopt有不同的版本，本文介绍的是它的增强版(enhanced)，相比传统的getopt(也称为兼容版本的getopt)，它提供了引号保护的能力。另外，除了不同版本的getopt，bash还有一个内置命令getopts(注意，有个尾随的字符s)，也用来解析命令行选项，但只能解析短选项。

要验证安装的getopt是增强版的还是传统版的，使用getopt -T判断即可。如果它什么都不输出，则是增强版，此时它的退出状态码为4。如果输出--，则是传统版的getopt，此时它的退出状态码为0。如果想在脚本中进行版本检查，可以参考如下代码：

1
getopt -T &>/dev/null;[ $? -ne 4 ] && { echo "not enhanced version";exit 1; }

1.命令行选项的那些常识

在学习getopt如何使用之前，必须先知道命令行的一些常识。这些，都可以通过getopt来实现，但有些实现起来可能会比较复杂。

1.区分option、parameter、argument、option argument和non-option parament

parameter和argument都表示参数，前者通常表示独立性的参数，后者通常表示依赖于其它实体的参数。parameter的含义更广，argument可以看作parameter的一种。

例如，定义函数时function foo(x,y){CODE}，函数的参数x和y称为parameter。调用函数并传递参数时，foo(arg1,arg2)中的arg1和arg2都是依赖于函数的，称为argument更合适，当然也可以称为更广泛的parameter。

再例如，一个命令行：

1
tar -zcf a.tar.gz /etc/pki

粗分的话，-z、-c、-f、a.tar.gz、/etc/pki都可以称为parameter。细分的话：

  • -z -c -f称为选项，即option
  • a.tar.gz是选项”-f”的选项参数(传递给选项的参数)，依赖于选项，称为argument更合适，更严格的称呼是option argument
  • /etc/pki既不属于选项，也不属于某个选项的参数，它称为非选项类型的参数，对应的名称为non-option parameter

本文要介绍的是getopt，所以只考虑命令行参数的情况。

2.短选项和长选项以及它们的”潜规则”

Linux中绝大多数命令都提供了短选项和长选项。一般来说，短选项是只使用一个-开头，选项部分只使用一个字符，长选项是使用两个短横线(即--)开头的。

例如-a是短选项，--append是长选项。

一般来说，选项的顺序是无所谓的，但并非绝对如此，有时候某些选项必须放在前面，必须放在某些选项的前面、后面。

一般来说，短选项：

  • 可以通过一个短横线”-“将多个短选项连接在一起，但如果连在一起的短选项有参数的话，则必须作为串联的最后一个字符。

    例如-avz其实会被解析为-a -v -z，tar -zcf a.tar.gz串联了多个短选项，但-f选项有参数a.tar.gz，所以它必须作为串联选项的最后一个字符。

  • 短选项的参数可以和选项名称连在一起，也可以是用空白分隔。例如-n 3和-n3是等价的，数值3都是-n选项的参数值。

  • 如果某个短选项的参数是可选的，那么它的参数必须紧跟在选项名后面，不能使用空格分开。至于为什么，见下面的第3项。

一般来说，长选项：

  • 可以使用等号或空白连接两种方式提供选项参数。例如--file=FILE或--file FILE。
  • 如果某个长选项的参数是可选的，那么它的参数必须使用”=”连接。至于为什么，见下面的第3项。
  • 长选项一般可以缩写，只要不产生歧义即可。

例如，ls命令，以”a”开头的长选项有3个。

1
2
3
4
$ ls --help | grep -- '--a' 
  -a, --all                  do not ignore entries starting with .
  -A, --almost-all           do not list implied . and ..
      --author               with -l, print the author of each file

如果想要指定--almost-all，可以缩写为--alm；如果想要指定--author，可以缩写为--au。如果只缩写为--a，bash将给出错误提示，长选项出现歧义：

1
2
3
$ ls --a
ls: option '--a' is ambiguous; possibilities: '--all' '--author' '--almost-all'
Try 'ls --help' for more information.

3.不带参数的选项、可选参数的选项和带参数的选项

有不同类型的命令行选项，这些选项可能不需要参数，也可能参数是可选的，也可能是强制要求参数的。

前面说了，如果某个选项的参数是可选的，那么它的参数必须不能使用空格将参数和选项分开。如果使用空格分隔，则无法判断它的下一个元素是该选项的参数还是非选项类型的参数。

例如，-c和--config选项的参数是可选的，要向这两个选项提供参数，必须写成-cFILE、--config=FILE，如果写成-c FILE、--config FILE，那么命令将无法判断这个FILE是提供给选项的参数，还是非选项类型的参数。

一般来说，使用可选参数的情况非常少，至少我目前回忆不起来这样的命令(mysql的-p选项是一个)。

4.使用--将选项(及它们的选项参数)与非选项类型参数进行分隔

unix的命令行中，总是可以在非选项类型的参数之前加上--，表示选项和选项参数到此为止，后面的都是非选项类型的参数。

例如：

1
2
seq -w -- 3
seq -w -- 1 3

分别表示3和”1 3”是seq的非选项类型参数，而--前面的一定是选项或选项参数。

5.命令行参数中的短横线开头的并不一定总是短选项，也可能是负数参数

例如seq命令：

1
seq -w -5 -1 5

其中-5和-1都是负数非选项类型的参数。

6.选项的依赖性和互斥性

有些命令的选项是有依赖性和互斥性的。比如某个选项要和另一个选项一起使用，某个选项不能和另一个选项一起使用。

例如--manage --remove，只有在使用了--manage的前提下才能使用--remove，否则就应该报错。

7.模式化(模块化)类型的选项

很多unix命令都将选项进行模块化设计。例如ip命令，address模式、route模式、link模式等等。

1
2
3
4
ip addr OPTIONS
ip route OPTIONS
ip link OPTIONS 
ip neigh OPTIONS

8.其他特性的选项

有些命令还有比较个性化的选项。

比如head命令，-n NUM选项，即可以指定为-3，也可以指定为-n 3或-n3。

再比如有的命令支持逻辑运算，例如find命令的-a、-o选项。

2.getopt解析选项的工作机制

bash的getopt命令经常用在shell脚本内部或函数内部，用来解析脚本执行或函数执行时传递的选项、参数。

下面都以命令行为例解释getopt是如何解析参数的，但用来解析函数参数是一样的。

2.1 getopt选项

下面这个是最常用的getopt解析方式(有这个命令就够了)。如果要了解getopt更完整的语法，见man getopt。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
getopt -o SHORT_OPTIONS -l LONG_OPTIONS -n "$0" -- "$@"

其中：  
-o SHORT_OPTIONS` 
--options SHORT_OPTIONS
getopt通过"-o"选项收集命令行传递的短选项和它们对应的参数。关于SHORT_OPTIONS的格式见下一小节。

-l LONG_OPTIONS  
--longoptions LONG_OPTIONS  
getopt通过"-l"选项收集命令行传递的长选项和它们对应的参数。可能从别人的脚本中经常看到"--long"，是等价的，前文已经解释过，长选项只要不产生歧义，是可以进行缩写的。关于LONG_OPTIONS的格式见下一小节。  

-n NAME  
getopt在解析命令行时，如果解析出错(例如要求给参数的选项没带参数，使用了无法解析的选项等)将会报告错误信息，getopt将使用该NAME作为报错的脚本名称。  

-- "$@" 
其中"--"表示getopt命令自身的选项到此结束，后面的元素都是要被getopt解析的命令行参数。这里使用"$@"，表示所有的命令行参数。注意，不能省略双引号。

2.2 getopt如何解析选项和参数

getopt使用-o或-l解析短、长选项和参数时，将会对每个解析到的选项、参数进行输出，然后不断放进一个字符串中。这个字符串的内容就是完整的、规范化的选项和参数。

getopt使用-o选项解析短选项时：

  • 多个短选项可以连在一起
  • 如果某个要解析的选项需要一个参数，则在选项名后面跟一个冒号
  • 如果某个要解析的选项的参数可选，则在选项名后面跟两个冒号
  • 例如，getopt -o ab:c::中，将解析为-a -b arg_b -c [arg_c]，arg_b是-b选项必须的，arg_c是-c选项可选的参数，”-a”选项无需参数

getopt使用-l选项解析长选项时：

  • 可以一次性指定多个选项名称，需要使用逗号分隔它们
  • 可以多次使用-l选项，多次解析长选项
  • 如果某个要解析的选项需要一个参数，则在选项名后面跟一个冒号
  • 如果某个要解析的选项的参数可选，则在选项名后面跟两个冒号
  • 例如，getopt -l add:,remove::,show中，将解析为--add arg_add --remove [arg_rem] --show，其中arg_add是--add选项必须的，--remove选项的参数arg_rem是可选的，--show无需参数

如果解析的是带参数的选项，则getopt生成的字符串中，会将选项的参数值作为该选项的下一个参数。如果解析的是可选参数的选项，如果为该选项设置了参数，则会将这个参数放在选项的下一个参数位置，如果没有为该选项设置参数，则会生成一个用引号包围的空字符串作为选项的下一个参数。

getopt解析完选项和选项的参数后，将解析非选项类型的参数(non-option parameter)。getopt为了让非选项类型的参数和选项、选项参数区分开，将在解析第一个非选项类型参数时加上一个--到字符串中，表示选项和选项参数到此结束，然后将所有的非选项类型参数放在这个--参数之后。

默认情况下，该加强版本的getopt会将所有参数值(包括选项参数、非选项类型的参数)使用引号进行包围，以便保护空白字符和特殊字符。如果是兼容版本的getopt，则不会用引号保护，所以会破坏参数解析。

看后面的示例就很容易理解了。

2.3 示例分析getopt的解析方式

例如在脚本test.sh中，下面的getopt的结果保存到变量parameters中，然后输出getopt解析完成后得到的完整参数列表。

1
2
3
4
#!/usr/bin/env bash

parameters=`getopt -o ab:c:: --long add:,remove::,show -n "$0" -- "$@"`
echo "$parameters"

如果还不知道这里的-o和--long解析了什么东西，请回头仔细再看一遍。

执行这个脚本，并给这个脚本传递一些选项和参数，这些脚本参数将被收集到$@，然后被getopt解析。

1
2
$ ./test.sh -a non-op_arg1 -b b_short_arg non-op_arg2 --rem --add /path --show -c non-op_arg3
 -a -b 'b_short_arg' --remove '' --add '/path' --show -c '' -- 'non-op_arg1' 'non-op_arg2' 'non-op_arg3'

首先可以看出，传递给脚本的参数都是无序的：

  • 长选项有：
    • --rem：是–remove的缩写形式，它的参数是可选的，但没有为它传递参数
    • --add：并设置了该选项的参数/path
    • --show：没有任何参数
  • 短选项有：
    • -a：它是无需参数的选项，所以它后面的non-op_arg1是一个非选项类型的参数
    • -b：它是必须带参数的选项，所以b_short_arg是它的参数
    • -c：它的参数是可选的，这里没有给它提供参数(前面解释过，要给参数可选的选项提供参数，短选项时，参数和选项名称必须连在一起)。
  • 非选项类型的参数有：
    • non-op_arg1
    • non-op_arg2
    • non-op_arg3

从getopt的输出结果中，可以看出：

  • 先解析选项和选项参数
  • 选项和选项参数是按照从左向右的方式进行解析的
  • 参数都使用引号包围
  • 那些参数可选的选项，当没有为它们提供参数时，将生成一个引号包围的空字符串参数
  • 解析完所有的选项和选项参数后，开始解析非选项类型的参数
  • 非选项类型的参数前面，会生成一个--字符串，它将选项(以及选项参数)与非选项类型的参数隔开了

3.处理getopt解析的结果

getopt解析得到了完整、规范化的结果，当然要拿来应用。例如直接传递个函数，或者根据while、case、shift将选项、参数进行分割单独保存。

如果要进行分割，由于getopt的解析结果通常保存在一个变量中，要解析这个结果字符串，需要使用eval函数将变量的内容进行还原，一般来说会将其设置为一个位置参数(因为shift只能操作位置变量)。

一般来说，整个处理流程是这样的：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
parameters=$(getopt -o SHORT_OPTIONS -l LONG_OPTIONS -n "$0" -- "$@")
[ $? != 0 ] && exit 1
eval set -- "$parameters"   # 将$parameters设置为位置参数
while true ; do             # 循环解析位置参数
    case "$1" in
        -a|--longa) ...;shift ;;    # 不带参数的选项-a或--longa
        -b|--longb) ...;shift 2;;   # 带参数的选项-b或--longb
        -c|--longc)                 # 参数可选的选项-c或--longc
            case "$2" in 
                "")...;shift 2;;  # 没有给可选参数
                *) ...;shift 2;;  # 给了可选参数
            esac;;
        --) ...; break ;;       # 开始解析非选项类型的参数，break后，它们都保留在$@中
        *) echo "wrong";exit 1;;
    esac
done

需要注意，getopt解析既可以放在脚本中解析命令行参数，也可以放在某个函数中解析函数参数。

4.getopt的两种扫描模式

getopt提供了两种扫描模式，只要在getopt的短选项前加上加号或负号，就能指定两种扫描模式，即getopt -o [+-]SHORT_OPTS。

  • +扫描模式：只要解析完选项、选项参数，解析到第一个非选项类型的参数后，就会停止解析，它会将所有没有解析的内容都当作非选项类型参数。所以这种情况下，非选项类型的参数都必须放在尾部，而不能放在某个待解析选项的前面。这种模式在区别负数和短选项时，非常有用。
  • -扫描模式：会按照原始位置参数解析，并保留原始位置。这种模式一般用不上，因为破坏了getopt的优势：让选项完整、规范化。

例如，对于命令行参数-w -s -5 3 -2，要将-5识别为-s的参数，3和-2为非选项类型的参数，则：

1
2
3
$ set -- -w -s -5 3 -2  # 设置位置参数
$ getopt -o +s:w -n "$0" -- "$@"
 -w -s '-5' -- '3' '-2'      # 解析结果

注意，上面的-5是被解析成了-s的参数，而不是选项或非选项类型的参数，因为-s选项必须要指定一个参数。

上面的3必须不能是负数，因为getopt必须先扫描到一个正常的非选项型参数，才能将它后面的所有负数都当作非选项型参数。至于如何将-w -s -5 -3 -2中的-3和-2都解析为非选项型参数，目前我也不知道。

使用-扫描模式：

1
2
3
$ set -- 3 -w 4 -s -5 a 3
$ getopt -o -s:w -n "$0" -- "$@"
 '3' -w '4' -s '-5' 'a' '3' --    # 解析结果

可以看到，上面的所有参数位置都是保持原样的，且将分隔符号--补在了最尾部。

5.如何实现命令行选项的各种个性功能

在前面命令行选项的那些常识中介绍了几种有”个性”的选项功能，包括：

  • 选项依赖：例如-a或--add要依赖于-m或--manage选项
  • 选项互斥：例如-a或--add与-r或--remove是互斥的
  • 识别负数参数：例如-w -5 -3 5，其中-5和-3不是短选项，而是负数参数
  • 模式化选项：例如script_name MODE OPTIONS的MODE部分，可以是manage模式(--manage,-m)，也可以使用add模式(--add,-a)
  • 选项参数替代选项：例如head -n 3可以替换为head -3

这里介绍下用getopt解析参数后实现它们的思路。

在getopt解析完成后，假设返回结果保存到了$parameters变量中。

1.选项依赖性

这个其实很好实现，只需使用grep对$parameters变量进行筛选一下即可。

例如实现依赖性，只需：

1
2
{ echo "$parameters" | grep -E '\-\-add|\-a ' | grep -E '\-\-manage|\-m '; } &>/dev/null
[ $? -ne 0 ] && exit

2.选项互斥性

要实现互斥性，只需：

1
2
or_op=`echo "$parameters" | grep -Eo '\-\-add|\-a | \-\-remove|\-r ' | wc -l`
[ "$or_op" = "2" ] && exit

3.识别负数参数

前面解释过，getopt提供了两种扫描模式，只要使用+扫描模式，就能轻松区别负数参数和短选项。

4.模式化选项

一般来说，模式化选项都是命令行的第一个参数。所以，只需将$parameter中--后面的第一个非选项类型的参数提取出来，就是所谓的模式了。当然，还得对这个参数进行一些判断，避免它不是模式参数。

例如，要提供addr、show、route三种模式，那么其它的非选项类型参数值都不应该是模式参数。

1
2
3
4
5
6
7
8
9
10
11
12
eval set -- "$parameters"
while true ; do
    case "$1" in
            ...
        --) 
            shift
            [ "$x" = "addr" -o "$x" = "route" -o "$x" = "show" ] && MODE=$1
            shift
            break ;;
        *) echo "wrong";exit 1;;
    esac
done

5.选项参数替代选项

就以-n3和-3为例，它的通用格式是-n NUM和-NUM。这个并不好实现，我能想到的方法是将这个-NUM先从$@中筛选出来，然后赋值。

1
2
3
NUM=`echo "$@" | grep -Eo "\-[0-9]+"`
ARGS=`echo "$@" | sed -nr 's!(.*)-[0-9]+(.*)!\1\2!'p`
eval set -- "$ARGS"

6.使用getopt设计shell脚本选项示例

这里提供一个和seq命令功能相同的脚本seq.sh，然后设计这个脚本的选项。

先看一下seq命令的各个选项说明：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
seq [OPTION]... LAST                  # 语法1
seq [OPTION]... FIRST LAST            # 语法2
seq [OPTION]... FIRST INCREMENT LAST  # 语法3

选项：
-s, --separator=STRING
使用指定的STRING分隔各数值，默认值为"\n"u

-w, --equal-width
使用0填充在前缀使所有数值长度相同

--help
显示帮助信息并退出

--version
输出版本信息并退出

以下是脚本内容：和seq相比，只有两个问题：第一个起点数值FIRST不能为负数；不支持小数功能。其它功能完全相同

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
#!/usr/bin/env bash
###########################################################
#  author     : 骏马金龙                                   #
#  blog       : http://www.cnblogs.com/f-ck-need-u/       #
###########################################################

usage(){
cat <<'EOF'
Usage: $0 [OPTION]... LAST
  or:  $0 [OPTION]... FIRST LAST
  or:  $0 [OPTION]... FIRST INCREMENT LAST
EOF
}

# getopt的版本是增强版吗
getopt -T &>/dev/null;[ $? -ne 4 ] && { echo "not enhanced version";exit 1; }

# 参数解析
parameters=`getopt -o +s:w --long separator:,equal-width,help,version -n "$0" -- "$@"`
[ $? -ne 0 ] && { echo "Try '$0 --help' for more information."; exit 1; }

eval set -- "$parameters"

while true;do
    case "$1" in
        -w|--equal-width) ZERO_PAD="true"; shift ;;
        -s|--separator) SEPARATOR=$2; shift 2 ;;
        --version) echo "$0 version V1.0"; exit ;;
        --help) usage;exit ;;
        --)
            shift
            FIRST=$1
            INCREMENT=$2
            LAST=$3
            break ;;
        *) usage;exit 1;;
    esac
done


# 用于生成序列数
function seq_func(){

    # 是否要使用printf填充0位？
    [ "x$1" = "xtrue" ] && zero_pad="true" && shift
    
    # 设置first、step、last
    if [ $# -eq 1 ];then
        first=1
        step=1
        last=$1
    elif [ $# -eq 2 ];then
        first=$1
        step=1
        last=$2
    elif [ $# -eq 3 ]; then
        first=$1
        step=$2
        last=$3
    else
        echo "$FUNCNAME: ARGS wrong..."
        exit 1
    fi
    
    # 最后一个要输出的元素及其长度，决定要填充多少个0
    last_output=$[ last - ( last-first ) % step ]
    zero_pad_len=`[ ${#last_output} -gt ${#first} ] && echo ${#last_output} || echo ${#first}`

    # 生成序列数
    if [ "x$zero_pad" = "xtrue" ];then
        # 填充0
        if [ $step -gt 0 ];then
            # 递增，填充0
            for((i=$first;i<=$last;i+=$step)){
                [ $last_output -eq $i ] && { printf "%0${zero_pad_len}i\n" "$i";return; }
                printf "%0${zero_pad_len}i " $i
            }
        else
            # 递减，填充0
            for((i=$first;i>=$last;i+=$step)){
                [ $last_output -eq $i ] && { printf "%0${zero_pad_len}i\n" "$i";return; }
                printf "%0${zero_pad_len}i " $i
            }
        fi
    else
        # 不填充0
        if [ $step -gt 0 ];then
            # 递增，不填充0
            for((i=$first;i<=$last;i+=$step)){
                [ $last_output -eq $i ] && { printf "%i\n" "$i";return; }
                printf "%i " $i
            }
        else
            # 递减，不填充0
            for((i=$first;i>=$last;i+=$step)){
                [ $last_output -eq $i ] && { printf "%i\n" "$i";return; }
                printf "%i " $i
            }
        fi
    fi
}

# 指定输出分隔符
: ${SEPARATOR="\n"}

# 输出结果
seq_func $ZERO_PAD $FIRST $INCREMENT $LAST | tr " " "$SEPARATOR"

上面解析选项的脚本缺陷在于无法解析FIRST为负数的情况，例如./seq.sh -w -5 3将报错。但可以写为标准的./seq.sh -w -- -5 -3语法。