学习目标

使用cut可以切割提取指定列\字符\字节的数据

使用sed编辑文件增删改查

使用awk对文件分析

使用sort对文件进行字符串或数字或多列排序

能够理解场景面试题

Shell好用的工具： cut

目标

使用cut可以切割提取指定列\字符\字节的数据

介绍

cut 译为“剪切, 切割” , 是一个强大文本处理工具，它可以将文本按列进行划分的文本处理。cut命令逐行读入文本，然后按列划分字段并进行提取、输出等操作。

语法

1
cut [options]  filename

options参数说明

提取范围说明

示例：切割提取指定列数据

cut1.txt文件数据准备

xxxxxxxxxx
1
1
touch cut1.txt

编辑文件添加内容

xxxxxxxxxx
4
1
AA  itheima 11 XX
2
BB  itcast 22 XXX
3
CC  Shell 33 XXXX
4
DD  it 44 XXXXXXX

提取文件中第一列数据

xxxxxxxxxx
1
1
cut cut1.txt -d " " -f 1

提取文件中第一列,第三列, 枚举查找

xxxxxxxxxx
1
1
cut cut1.txt -d " " -f 1,3

提取文件中第二列,第三列,第四列, 范围查找

提取文件中第一列后面所有列的数据

xxxxxxxxxx
1
1
 cut cut1.txt -d " "  -f 2- 

提起文件中结束列前面所有列的数据

xxxxxxxxxx
2
1
cut -d " " -f -2 cut1.txt
2
# -2 提取指定列前面所有列数据

运行效果

示例: 切割提取指定字符数据

提取每行前3个字符

xxxxxxxxxx
1
1
cut cut1.txt -c1-3

运行效果

提取每行第4个字符以后的数据

xxxxxxxxxx
1
1
cut cut1.txt -c 4-

运行效果

提取每行第3个字符前面所有字符

xxxxxxxxxx
1
1
cut cut1.txt -c -3

运行效果

示例：切割提取指定字节数据

提取字符串"abc传智播客" 前3个字节

xxxxxxxxxx
1
1
echo "abc传智播客" | cut -b -3

运行效果

提取字符串"abc传智播客" 前4个字节

xxxxxxxxxx
1
1
echo "abc传智播客" | cut -b -4

运行效果

提取字符串"abc传智播客" 前6个字节

xxxxxxxxxx
2
1
echo "abc传智播客" | cut -b -6
2
# 由于linux系统默认utf-8码表, 所以一个汉字占3个字节

运行效果

提取字符串"abc传智播客" 前4个字节, 就可以将汉字 "传"输出,

xxxxxxxxxx
2
1
echo "abc传智播客" | cut -nb -4
2
#  -n 取消多字节字符分割直接输出

运行效果

示例：切割提取指定单词数据

在cut1.txt文件中切割出"itheima"

xxxxxxxxxx
1
1
cat cut1.txt | grep itheima | cut -d " " -f 2

示例：切割提取bash进程的PID号

命令

xxxxxxxxxx
1
1
ps -aux | grep 'bash' | head -n 1 | cut -d " " -f 8

运行效果

示例：切割提取IP地址

xxxxxxxxxx
1
1
ifconfig | grep broadcast | cut -d " " -f 10

运行效果

小结

cut的作用

一个强大文本处理工具，它可以将文本按列进行划分的文本处理。cut命令逐行读入文本，然后按列划分字段并进行提取、输出等操作。

cut切割提取列

cut 文件或数据 -d 分隔符切割 -f 提取第X列

cut切割提取字符

cut 文件或数据 -c 提取字符范围

cut切割提取字节

cut 文件或数据 -nb 提取直接范围

Shell好用的工具：sed

目标

使用sed编辑文件替换文件中的单词

编写在文件中插入或修改行的sed程序

使用sed作为过滤器来过滤管道数据命令

介绍

sed （stream editor, 流编辑器） 是Linux下一款功能强大的非交互流式文本编辑器(vim是交互式文本编辑器)，可以对文本文件的每一行数据匹配查询之后进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑.

sed是一种流编辑器，它一次处理一行内容, 将这行放入缓存(存区空间称为：模式空间)，然后才对这行进行处理，处理完后，将缓存区的内容发送到终端。

sed处理数据原理

语法

​x
1
sed [选项参数] [模式匹配/sed程序命令] [文件名]
2
3
# 模式匹配,sed会读取每一行数据到模式空间中, 之后判断当前行是否符合模式匹配要求,符合要求就会
4
#     执行sed程序命令, 否则不会执行sed程序命令;如果不写匹配模式,那么每一行都会执行sex程序命令

选项参数说明

sed程序命令功能描述

特殊符号

数据准备

sed.txt文件内容

xxxxxxxxxx
5
1
ABC
2
itheima itheima
3
itcast
4
123
5
itheima

示例：向文件中添加数据

演示1: 指定行号的前或后面添加数据

向第三行后面添加hello

xxxxxxxxxx
1
1
 sed '3ahello' sed.txt

3 , 代表第三行

a, 代表在后面添加, 出现在下一行

注意这里没有修改源文件

运行效果

向第三行前面添加hello

xxxxxxxxxx
1
1
 sed '3ihello' sed.txt

3 , 代表第三行

i, 代表在前面添加, 出现在上一行

注意这里没有修改源文件

运行效果

演示2: 指定内容前或后面添加数据

向内容 itheima 后面添加 hello ，如果文件中有多行包括 `itheima `，则每一行后面都会添加

xxxxxxxxxx
1
1
sed '/itheima/ahello' sed.txt

运行效果

向内容 itheima 前面添加 hello ，如果文件中有多行包括 `itheima `，则每一行前面都会添加

xxxxxxxxxx
1
1
sed '/itheima/ihello' sed.txt

运行效果

演示3: 在最后一行前或后添加hello

在最后一行后面添加hello

xxxxxxxxxx
1
1
sed '$ahello' sed.txt

$a: 最后一行后面添加

运行效果

在最后一行前面添加hello

xxxxxxxxxx
1
1
sed '$ihello' sed.txt

$i: 最后一行前面添加

运行效果

示例: 删除文件中的数据

演示1: 删除第2行

命令

xxxxxxxxxx
3
1
sed  '2d' sed.txt
2
# d 用于删除
3
# 2d 删除第2行

运行效果

命令: 删除第1行,第4行数据

xxxxxxxxxx
1
1
sed '1d;4d' sed.txt

运行效果

演示2: 删除奇数行

从第一行开始删除，每隔2行就删掉一行

xxxxxxxxxx
2
1
sed '1~2d' sed.txt
2
# 1~2 从第1行开始, 每隔2行

运行效果

演示3: 删除指定范围的多行数据

删除从第1行到第3行的数据

xxxxxxxxxx
2
1
sed '1,3d' sed.txt
2
# 1,3  从指定第1行开始到第3行结束

运行效果

演示3: 删除指定范围取反的多行数据

删除从第1行到第3行取反的数据

xxxxxxxxxx
2
1
sed '1,3!d' sed.txt
2
# 1,3! 从指定第1行开始到第3行结束取反, 就是不在这个范围的行

运行效果

演示4: 删除最后一行

命令

xxxxxxxxxx
1
1
sed  '$d'   sed.txt

运行效果

演示5: 删除匹配itheima的行

命令

xxxxxxxxxx
1
1
sed '/itheima/d' sed.txt

运行效果

演示6: 删除匹配行到最后一行

删除匹配itheima行到最后一行 , 命令

xxxxxxxxxx
2
1
sed '/itheima/,$d' sed.txt
2
# , 代表范围匹配

运行效果

演示7: 删除匹配行及其后面一行

删除匹配itheima行及其后面一行

xxxxxxxxxx
1
1
sed '/itheima/,+1d' sed.txt

运行效果

演示9: 删除不匹配的行

删除不匹配 itheima 或 itcast 的行

xxxxxxxxxx
4
1
sed '/itheima\|itcast/!d' sed.txt
2
3
# \| 是正则表达式的或者 这里|需要转义, 所以为\|
4
# ! 取反

运行效果

示例：更改文件中的数据

演示1:将文件的第一行修改为hello

命令

xxxxxxxxxx
1
1
sed  '1chello'  sed.txt

运行效果

演示2: 将包含itheima的行修改为hello

命令

xxxxxxxxxx
1
1
sed  '/itheima/chello' sed.txt

运行效果

演示3: 将最后一行修改为hello

命令

xxxxxxxxxx
1
1
sed '$chello' sed.txt

运行效果

演示4: 将文件中的itheima替换为hello

将文件中的itheima替换为hello,默认只替换每行第一个itheima

xxxxxxxxxx
1
1
sed 's/itheima/hello/'  sed.txt

运行效果

注意 's/itheima/hello/' 最后一个/ 不可少

将文本中所有的itheima都替换为hello, 全局替换

xxxxxxxxxx
2
1
sed 's/itheima/hello/g'  sed.txt
2
# g 代表匹配全局所有符合的字符

演示5: 将每行中第二个匹配替换

将每行中第二个匹配的itheima替换为hello 命令

xxxxxxxxxx
1
1
sed 's/itheima/hello/2'   sex.txt

运行效果

演示6: 替换后的内容写入文件

将每行中第二个匹配的itheima替换为hello , 将替换后的内容写入到sed2.txt文件中

xxxxxxxxxx
7
1
# 第一种方式
2
sed -n 's/itheima/hello/2pw sed2.txt' sed.txt
3
# w写入
4
# p打印, -n只是获取
5
6
# 第二种方式
7
sed -n 's/itheima/hello/2p ' sed.txt > sed2.txt

运行效果

演示7: 正则表达式匹配替换

匹配有 i 的行，替换匹配行中 t 后的所有内容为空

xxxxxxxxxx
2
1
sed '/i/s/t.*//g' sed.txt
2
# /t.*/ 表示逗号后的所又内容

运行效果

演示8: 每行末尾拼接test

xxxxxxxxxx
2
1
sed 's/$/& test' sed.txt
2
# & 用于拼接

运行效果

演示9: 每行行首添加注释 #

命令

xxxxxxxxxx
1
1
sed 's/^/#/' sed.txt

运行效果

示例: 查询文件或管道中的数据

需求1: 查询含有 itcast 的行数据

命令

xxxxxxxxxx
1
1
sed -n '/itcast/p' sed.txt

运行效果

需求2: 管道过滤查询

管道查询所有进程中含有sshd的进程信息命令

xxxxxxxxxx
1
1
 ps -aux | sed -n '/sshd/p'

运行效果

示例: 多个sed程序命令执行

将sed.txt文件中的第1行删除并将 itheima 替换为 itcast

xxxxxxxxxx
5
1
# 第一种方式, 多个sed程序命令 在每个命令之前使用 -e 参数
2
sed -e '1d' -e 's/itheima/itcast/g' sed.txt 
3
4
# 第二种方式
5
sed  '1d;s/itheima/itcast/g' sed.txt

运行效果

sed高级用法: 缓存区数据交换

模式空间与暂存空间介绍

1. 首先需要明白, sed处理文件是逐行处理的, 即读取一行处理一行,输出一行;

2. sed把文件读出来每一行存放的空间叫模式空间, 会在该空间中对读到的内容做相应处理;

3. 此外sed还有一个额外的空间即暂存空间, 暂存空间刚开始里边只有个空行, 记住这一点;

4. sed可使用相应的命令从模式空间往暂存空间放入内容或从暂存空间取内容放入模式空间;

   2个缓存空间传输数据的目的是为了更好的处理数据, 一会参考案例学习

关于缓存区sed程度命令

示例: 缓存空间数据交换

演示1: 第一行粘贴到最后1行

将模式空间第一行复制到暂存空间(覆盖方式),并将暂存空间的内容复制到模式空间中的最后一行(追加方式)

xxxxxxxxxx
3
1
sed '1h;$G' sed.txt
2
# 1h 从模式空间中将第一行数据复制到暂存空间(覆盖方式)
3
# $G 将暂存空间中的内容复制到模式空间中最后一行(追加方式)

运行效果

演示2: 第一行删除后粘贴到最后1行

将模式空间第一行复制到暂存空间(覆盖方式)并删除, 最后将暂存空间的内容复制到模式空间中的最后一行(追加方式)

xxxxxxxxxx
2
1
sed '1{h;d};$G' sed.txt
2
# 1{h;d}对模式空间中的第一行数据同时进行复制到暂存空间(覆盖方式)和删除模式空间中的第一行数据

运行效果

演示3: 第一行数据复制粘贴替换其他行数据

将模式空间第一行复制到暂存空间(覆盖方式), 最后将暂存空间的内容复制到模式空间中替换从第2行开始到最后一行的每一行数据(覆盖方式)

xxxxxxxxxx
1
1
sed '1h;2,$g' sed.txt

运行命令

演示4: 将前3行数据数据复制粘贴到最后一行

将前3行数据复制到暂存空间(追加方式), 之后将暂存空间的所有内容复制粘贴到模式空间最后一行(追加方式)

xxxxxxxxxx
1
1
sed '1,3H;$G' sed.txt

运行效果

示例: 给每一行添加空行

插入空行

xxxxxxxxxx
3
1
sed G -i sed.txt
2
# G 每行后面添加一个空行
3
# -i 修改源文件

运行效果

示例: 删除所有的空行

命令

xxxxxxxxxx
1
1
sed -i '/^$/d' sed.txt

运行效果

Shell好用的工具：awk

介绍

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时,显得尤为强大简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理, 因为切开的部分使用awk可以定义变量,运算符, 使用流程控制语句进行深度加工与分析。

创始人 Alfred V. Aho、Peter J. Weinberger和Brian W. Kernighan awk由来是姓氏的首字母

语法

xxxxxxxxxx
1
1
awk [options] 'pattern{action}' {filenames}

pattern：表示AWK在数据中查找的内容，就是匹配模式

action：在找到匹配内容时所执行的一系列命令

选项参数说明

awk内置变量

数据准备

xxxxxxxxxx
1
1
cp /etc/passwd ./

示例 : 默认每行空格切割数据

命令

xxxxxxxxxx
1
1
 echo "abc 123 456" | awk '{print $1"&"$2"&"$3}'

运行效果

示例: 打印含有匹配信息的行

搜索passwd文件有root关键字的所有行

xxxxxxxxxx
2
1
awk '/root/' passwd
2
# '/root/' 是查找匹配模式, 没有action命令, 默认输出所有符合的行数据

运行效果

示例: 打印匹配行中第7列数据

搜索passwd文件有root关键字的所有行, 然后以":"拆分并打印输出第7列

xxxxxxxxxx
2
1
awk -F: '/root/{print $7}' passwd
2
# -F: 以':'分隔符拆分每一个列(域)数据

运行效果

示例: 打印文件每行属性信息

统计passwd: 文件名，每行的行号，每行的列数，对应的完整行内容:

xxxxxxxxxx
2
1
awk -F ':' '{print "文件名:" FILENAME ",行号:" NR ",列数:" NF ",内容:" $0}' passwd
2
# "文件名:" 用于拼接字符串

运行效果

使用printf替代print,可以让代码阅读型更好

xxxxxxxxxx
5
1
awk -F ':' '{printf("文件名:%5s,行号:%2s, 列数:%1s, 内容:%2s\n",FILENAME,NR,NF,$O)}' passwd
2
# printf(格式字符串,变量1,变量2,...)
3
# 格式字符串: %ns 输出字符串,n 是数字，指代输出几个字符, n不指定自动占长度
4
# 格式字符串: %ni 输出整数,n 是数字，指代输出几个数字
5
# 格式字符串: %m.nf 输出浮点数,m 和 n 是数字，指代输出的整数位数和小数位数。如 %8.2f 代表共输出 8 位数，其中 2 位是小数，6 位是整数；

运行效果

示例: 打印第二行信息

打印/etc/passwd/的第二行信息

xxxxxxxxxx
1
1
awk -F ':' 'NR==2{printf("filename:%s,%s\n",FILENAME,$0)}' passwd

运行效果

示例: 查找以c开头的资源

awk过滤的使用, 查找当前目录下文件名以c开头的文件列表

xxxxxxxxxx
1
1
ls -a | awk '/^c/'

运行效果

示例: 打印第一列

按照":" 分割查询第一列打印输出

xxxxxxxxxx
1
1
awk -F ':' '{print $1}' passwd

运行效果

示例: 打印最后1列

按照":" 分割查询最后一列打印输出

xxxxxxxxxx
1
1
awk -F: '{print $NF}' passwd

运行效果

示例: 打印倒数第二列

按照":" 分割查询倒数第二列打印输出

xxxxxxxxxx
2
1
 awk -F: '{print $(NF-1)}' passwd
2
 # $(NF-N) N是几, 就是倒数第几列

运行效果

示例: 打印10到20行的第一列

获取第10到20行的第一列的信息

xxxxxxxxxx
1
1
awk -F: '{if(NR>=10 && NR<=20) print $1}' passwd

运行效果

示例: 多分隔符使用

"one:two/three"字符串按照多个分隔符":"或者"/" 分割, 并打印分割后每个列数据

xxxxxxxxxx
1
1
echo "one:two/three" | awk -F '[:/]' '{printf("%s\n%s\n%s\n%s\n",$0,$1,$2,$3)}'

运行效果

示例: 添加开始与结束内容

给数据添加开始与结束

xxxxxxxxxx
3
1
echo -e  "abc\nabc" | awk 'BEGIN{print "开始..."} {print $0} END{print "结束..."}'
2
3
# BEGIN 在所有数据读取行之前执行；END 在所有数据执行之后执行。

运行效果

示例 : 使用循环拼接分割后的字符串

"abc itheima itcast 21" 使用空格分割后, 通过循环拼接在一起

xxxxxxxxxx
3
1
 echo "abc itheima     itcast   21" | awk -v str="" -F '[ ]+' '{for(n=1;n<=NF;n++){ str=str$n} print str }'
2
 
3
 # -v 定义变量

运行效果

示例: 操作指定数字运算

将passwd文件中的用户id增加数值1并输出

xxxxxxxxxx
1
1
 echo "2.1" | awk -v i=1 '{print $0+i}'

运行效果

示例: 切割ip

切割IP

xxxxxxxxxx
1
1
ifconfig | awk '/broadcast/{print}' | awk -F " " '{print $2}'

运行效果

示例: 显示空行行号

查询sed.txt中空行所在的行号

xxxxxxxxxx
1
1
sed 'G' sed.txt | awk '/^$/{print NR}'

运行效果

小结

grep , sed ,awk , cut 文本字符串操作四剑客的区别

grep：用于查找匹配的行

cut： 截取数据. 截取某个文件中的列, 重点是按照列分割, 这个命令不适合截取文件中有多个空白字符的字段

sed： 增删改查数据. sed用于在文件中以行来截取数据进行增\删\改\查

awk：截取分析数据. 可以在某个文件中是以竖列来截取分析数据, 如果字段之间含有很多空白字符也可以获取需要的数据, awk是一种语言,可以深入分析文件数据

Shell好用的工具：sort

目标

能够使用sort对字符串升序或降序排序

能够使用sort 对数字升序或降序

能够使用sort 对多列进行排序

介绍

sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出或重定向输出到指定文件。

语法

xxxxxxxxxx
1
1
sort (options) 参数

参数：指定待排序的文件列表

数据准备

sort.txt文本文件代码

xxxxxxxxxx
7
1
张三 30  
2
李四 95  
3
播仔 85 
4
播仔 85
5
播仔 86
6
AA 85
7
播妞 100

示例1: 数字升序

按照“ ”空格分割后的第2列数字升序排序。

xxxxxxxxxx
3
1
sort -t " " -k2n,2 sort.txt
2
# -t " " 代表使用空格分隔符拆分列
3
# -k 2n,2 代表根据从第2列开始到第2列结束进行数字升序, 仅对第2列排序

运行效果

示例2: 数字升序去重

先按照“ ”空格分割后的, 然后,按照第2列数字升序排序, 最后对所有列去重

xxxxxxxxxx
1
1
 sort -t " " -k2n,2 -uk1,2 sort.txt

运行效果

注意: 先排序再去重

示例3: 数字升序去重结果保存到文件

命令

xxxxxxxxxx
1
1
sort -t " " -k2n,2 -uk1,2 -o sort2.txt sort.txt

运行效果

示例4: 数字降序去重

先按照“ ”空格分割后的, 然后,按照第2列数字降序排序, 最后对所有列去重

xxxxxxxxxx
1
1
sort -t " " -k2nr,2 -uk1,2 sort.txt

运行效果

示例5: 多列排序

数据准备sort3.txt

xxxxxxxxxx
13
1
公司A,部门A,3
2
公司A,部门B,0
3
公司A,部门C,10
4
公司A,部门D,9
5
公司B,部门A,30
6
公司B,部门B,40
7
公司B,部门C,43
8
公司B,部门D,1
9
公司C,部门A,30
10
公司C,部门B,9
11
公司C,部门C,100
12
公司C,部门D,80
13
公司C,部门E,60

要求: 以","分割先对第一列字符串升序, 再对第3列数字降序

xxxxxxxxxx
1
1
sort -t "," -k1,1 -k3nr,3 sort3.txt

运行效果

小结

能够使用sort对字符串升序或降序排序

字符串升序: sort -kstart,end 文件

字符串降序: sort -kstartr,end 文件

能够使用sort 对数字升序或降序

数字升序: sort -kstartn,end 文件

数字降序: sort -kstartnr,end 文件

能够使用sort 对多列进行排序

sort -kstart[nr],end -kstart[nr],end ... 文件

面试题：查空行

问题：使用Linux命令查询file.txt中空行所在的行号

file1.txt数据准备

xxxxxxxxxx
6
1
itheima itheima
2
3
itcast
4
123
5
6
itheima

答案：

xxxxxxxxxx
1
1
awk '/^$/{print NR}' file1.txt

运行效果

面试题：求一列的和

问题：有文件file2.txt内容如下:

xxxxxxxxxx
3
1
张三 40
2
李四 50
3
王五 60

使用Linux命令计算第二列的和并输出

xxxxxxxxxx
1
1
awk '{sum+=$2} END{print "求和: "sum}' file2.txt

运行效果

面试题：检查文件是否存在

问题：Shell脚本里如何检查一个文件是否存在？如果不存在该如何处理？

答:

xxxxxxxxxx
1
1
if [ -e /root/file1.txt ]; then  echo "文件存在"; else echo "文件不存在"; fi

运行效果

面试题：数字排序

问题：用shell写一个脚本，对文本中无序的一列数字排序

cat file3.txt文件内容

xxxxxxxxxx
10
1
9
2
8
3
7
4
6
5
5
6
4
7
3
8
2
9
10
10
1

答

xxxxxxxxxx
1
1
sort -n file3.txt | awk '{sum+=$1; print $1} END{print "求和: "sum}'

运行效果

面试题：搜索指定目录下文件内容

问题：请用shell脚本写出查找当前文件夹（/root）下所有的文本文件内容中包含有字符”123”的文件名称?

答:

xxxxxxxxxx
1
1
grep -r "123" /root | cut -d ":" -f 1| sort -u

运行效果

面试题：批量生成文件名

问题: 批量生产指定数目的文件,文件名采用"纳秒"命名

答: file4.sh

xxxxxxxxxx
16
1
#!/bin/bash
2
read -t 30 -p "请输入创建文件的数目:" n
3
test=$(echo $n | sed 's/[0-9]//g') #检测非数字输入
4
if [ -n "$n" -a -z "$test" ] #检测空输入
5
then
6
        for ((i=0;i<$n;i=i+1 ))
7
        do
8
                name=$(date +%N)
9
                [ ! -d ./temp ] &&  mkdir -p ./temp
10
                touch "./temp/$name"
11
                echo "创建 $name 成功!"
12
        done
13
        else
14
                echo "创建失败"
15
                exit 1
16
fi

运行效果

面试题：批量改名

问题: 将/root/temp目录下所有文件名重命名为"旧文件名-递增数字"?

重命名命令

xxxxxxxxxx
1
1
rename 旧文件名 新文件名 旧文件所在位置

脚本代码file5.sh

xxxxxxxxxx
11
1
#!/bin/bash
2
filenames=$(ls /root/temp)
3
number=1
4
for name in $filenames
5
do
6
        printf "命令前:%s" ${name}
7
        newname=${name}"-"${number}
8
        rename $name ${newname} /root/temp/*
9
        let number++ #每个改名后的文件名后缀数字加1
10
        printf "重命名后:%s \n" ${newname}
11
done

运行效果

面试题：批量创建用户

问题: 根据users.txt中提供的用户列表,一个名一行, 批量添加用户到linux系统中

已知users.txt数据准备

xxxxxxxxxx
2
1
user1
2
user2

知识点分析1: 添加用户命令

xxxxxxxxxx
1
1
useradd 用户名

知识点分析2: 设置每个用户密码默认密码

xxxxxxxxxx
1
1
echo "123456" | passwd --stdin 用户名

运行效果

面试题答案: 脚本代码file6.sh

xxxxxxxxxx
8
1
#!/bin/bash
2
ULIST=$(cat /root/users.txt)  ##/root/users.txt  里面存放的是用户名，一个名一行
3
for UNAME in $ULIST
4
do
5
        useradd $UNAME
6
        echo "123456" | passwd --stdin $UNAME &>/dev/null
7
        [ $? -eq 0 ] && echo "$UNAME用户名与密码添加初始化成功!"
8
done

运行效果

面试题：筛选单词

问题: 根据给出的数据输出里面单词长度大于3的单词

数据准备

xxxxxxxxxx
1
1
I may not be able to change the past, but I can learn from it.

shell脚本file7.sh

xxxxxxxxxx
1
1
 echo "I may not be able to change the past, but I can learn from it." | awk -F "[ ,.]" '{for(i=1;i<NF;i++){ if(length($i)>3){print $i}}}'

运行效果

面试题：单词及字母去重排序

问题

xxxxxxxxxx
2
1
1、按单词出现频率降序排序！
2
2、按字母出现频率降序排序！

file8.txt 文件内容

xxxxxxxxxx
1
1
No. The Bible says Jesus had compassion2 on them for He saw them as sheep without a shepherd. They were like lost sheep, lost in their sin. How the Lord Jesus loved them! He knew they were helpless and needed a shepherd. And the Good Shepherd knew He had come to help them. But not just the people way back then. For the Lord Jesus knows all about you, and loves you too, and wants to help you.

按照单词出现频率降序

xxxxxxxxxx
1
1
awk -F "[,. ]+" '{for(i=1;i<=NF;i++)S[$i]++}END{for(key in S)print S[key],key}' file8.txt |sort -rn|head

运行效果

按照字符出现频率降序前10个

xxxxxxxxxx
1
1
awk -F "" '{for(i=1;i<=NF;i++)S[$i]++}END{for(key in S)print S[key],key}' file8.txt |sort -rn|head

运行效果

面试题：扫描网络内存活主机

问题: 扫描192.168.56.1到192.168.56.254之间ip的是否存活, 并输出是否在线?

服务器ip存活分析

xxxxxxxxxx
2
1
ping ip地址 -c 2
2
# 如果ip地址存活发送2个数据包会至少接收返回1个数据包

效果如图

完整脚本代码

xxxxxxxxxx
17
1
#!/bin/bash
2
count=0
3
for i  in 192.168.56.{1..254}
4
do
5
    # 使用ping命令发送2个包测试, 并获取返回接收到包的个数
6
    receive=$(ping $i -c 2|awk 'NR==6{print $4}')
7
    # 接收返回包大于0 说明主机在线
8
    if [ ${receive} -gt 0 ]
9
    then
10
        echo "${i} 在线"
11
        ((count+=1))
12
    else
13
        echo "${i} 不在线"
14
    fi
15
16
done
17
echo "在线服务器有:"$count"个"

运行效果

面试题：MySQL分库备份

xxxxxxxxxx
18
1
#!/bin/sh
2
user=root      #用户名
3
pass=root      #密码
4
backfile=/root/mysql/backup #备份路径
5
[ ! -d $backfile ] && mkdir -p $backfile #判断是否有备份路径
6
cmd="mysql -u$user -p$pass"  #登录数据库
7
dump="mysqldump -u$user -p$pass " #mysqldump备份参数
8
dblist=`$cmd -e "show databases;" 2>/dev/null |sed 1d|egrep -v "_schema|mysql"` #获取库名列表
9
echo "需要备份的数据列表:"
10
echo $dblist
11
echo "开始备份:"
12
for db_name in $dblist #for循环备份库列表
13
do
14
 printf '正在备份数据库:%s' ${db_name}
15
 $dump $db_name 2>/dev/null |gzip >${backfile}/${db_name}_$(date +%m%d).sql.gz #库名+时间备份打包至指定路径下
16
 printf ',备份完成\n'
17
done
18
echo "全部备份完成!!!"

运行效果

面试题：MySQL数据库分库分表备份

xxxxxxxxxx
26
1
#!/bin/sh
2
user=root      #用户名
3
pass=root      #密码
4
backfile=/root/mysql/backup #备份路径
5
[ ! -d $backfile ] && mkdir -p $backfile #判断是否有备份路径
6
cmd="mysql -u$user -p$pass"  #登录数据库
7
dump="mysqldump -u$user -p$pass " #mysqldump备份参数
8
dblist=`$cmd -e "show databases;" 2>/dev/null |sed 1d|egrep -v "_schema|mysql"` #获取库名列表
9
echo "需要备份的数据列表:"
10
echo $dblist
11
echo "开始备份:"
12
for db_name in $dblist #for循环备份库列表
13
do
14
 printf '正在备份数据库:%s\n' ${db_name}
15
 tables=`mysql -u$user -p"$pass" -e "use $db_name;show tables;" 2>/dev/null|sed 1d`
16
 for j in $tables
17
  do
18
    printf '正在备份数据库 %s 表 %s ' ${db_name} ${j}
19
    $dump -B --databases $db_name --tables $j 2>/dev/null > ${backfile}/${db_name}-${j}-`date +%m%d`.sql
20
    printf ',备份完成\n'
21
  done
22
23
24
 printf '数据库 %s 备份完成\n' ${db_name}
25
done
26
echo "全部备份完成!!!"

运行效果