sed命令学习笔记

Answer 1

sed命令学习笔记

学习sed命令，对使用Shell灵活处理文本文件至关重要。sed命令功能强大，但其复杂性在于选项繁多，这使得脚本的可读性降低，尤其是一些不常用的功能（如模式空间）的使用，容易遗忘。因此，记录常用的命令，可帮助自己快速查阅。以下是一些常用sed命令示例：

1. 常用命令

输出符合规则的行：sed -n '/root/p' mylog.txt

删除指定内容：sed '/root/d' mylog.txt

替换并输出：sed -n 's/root/my/p' mylog.txt

全局替换，默认每行只替换第一个：sed 's/root/my/g' mylog.txt

使用引用匹配模式：sed 's/root/my&/' mylog.txt

执行多个命令：sed 's/root/my/' -e 's/2015/2016/' mylog.txt

替换所有文件中的特定字符：sed -i 's/|/\,/g' *.txt

在文件开头添加竖线：sed -i 's/^/|/g' mylog.txt

在文件末尾添加竖线：sed -i 's/$/|/g' mylog.txt

删除文件第一行：sed -i '1d' aug_unlimit_output.csv

删除回车符：sed -i "s/\r//g" test.txt

运行模式

sed为流编辑命令，逐行读取文件，处理后输出，不保留缓存。

命令组成：sed [选项] 动作 [文件]

选项示例：

-e 执行脚本，支持执行多个命令。

-f 执行脚本文件。

-n 只输出符合规则的行。

-i 直接修改原文件。

-r 使用扩展正则表达式。

动作示例：

s 替换文本。

p 打印输出。

q 结束处理。

d 删除行。

i 在当前行前插入文本。

a 在当前行后插入文本。

c 替换整行文本。

y 映射文本。

n 下一行。

N 上一行。

替换标记：s/查找/替换/标记

标记解释：无标记默认替换第一处；数字替换指定第几处；g替换所有。

特殊字符：反斜杠（\）。

寻址示例：

第2行替换：sed '2s/dog/cat/' mylog.txt

第1-3行替换：sed '1,3s/dog/cat/' mylog.txt

从第2行开始替换：sed '2,$s/dog/cat/' mylog.txt

模式寻址示例：

只替换包含特定模式的行：sed '/dog1/s/dog/cat/' mylog.txt

行寻址+模式寻址示例：sed '2,3{/dog/s/dog/cat/}' mylog.txt

模式寻址+行寻址示例：sed '/dog/{2s/dog/cat/}' mylog.txt

删除行示例：

删除所有行：sed 'd' mylog.txt

删除首行：sed '1d' mylog.txt

删除特定范围内的行：sed '2,$d' mylog.txt

删除包含特定模式的行：sed '/dog1/d' mylog.txt

删除特定范围内的包含特定模式的行：sed '2,${/dog/d}' mylog.txt

插入文本示例：

插入前边文本：echo 'Test line 1' | sed 'i<Test line 2'

后边添加文本：echo 'Test line 1' | sed 'a<Test line 2'

行寻址插入文本：sed '1i ew line 1' mylog.txt

最后一行插入文本：sed '$a ew line 1' mylog.txt

修改整行内容示例：

寻址修改：sed '2c\change line 2' mylog.txt

文本过滤修改：sed '/dog2/c\change line 2' mylog.txt

映射示例：

字符替换：sed 'y/123/abc/' mylog.txt

打印示例：

仅打印符合规则的行：sed -n '/dog1/p' mylog.txt

打印指定行范围内的行：sed -n '2,3p' mylog.txt

显示修改前和修改后内容：sed -n '{/dog1/p ; s/dog1/cat1/p}' mylog.txt

高级命令

多行命令示例：

删除指定行的下一行：sed '/dog1/{n;d}' mylog.txt

删除两行：sed '/dog1/{N;d}' mylog.txt

删除第一行：sed '/dog1/{N;D}' mylog.txt

将下一行添加到当前行示例：

合并两行并删除换行符：sed '/dog1/{N;s/ //}' mylog.txt

排除命令示例：

仅打印非特定模式的行：sed -n '/dog1/!p' mylog.txt

最后一行不合并示例：sed -n '$!N ; s/lazy dog/lazy cat/' mylog.txt

分支标签示例：

跳转到标签：sed '{/A/b lab1; s/dog/cat/ ; :lab1 s/dog/pig/}' mylog.txt

测试示例：

未匹配则跳转到标签：sed '{s/dog1/cat/; t ; s/dog/pig/}' mylog.txt

循环示例：

替换一个逗号：echo 'This,is,a,test' | sed -n '{:start ; s/,/ /1p ; /,/b start}'

删除空行示例：

模式空间和保持空间示例：

倒序打印：sed -n '{1!G ; h ; $p}' mylog.txt

倒序打印另一方法：sed '1!G ; h ; $!d' mylog.txt

每行后添加空行：sed 'G' mylog.txt

每行间添加空行，最后一行不添加：sed '$!G' mylog.txt

每行前添加空行：sed 'x;p;x' mylog.txt

每行前添加空行，第一行不添加：sed '1!{x;p;x}' mylog.txt

替换换行符示例：

合并所有行：sed ':loop ; N ; $!b loop ; s/ /--/g' mylog.txt

合并非"结尾的换行示例：

替换换行符Python版示例：

使用Python pandas读取CSV并替换换行符：import pandas as pd; df=pd.read_csv("add.csv",header=None); for i in range(df.shape[1]): if df.dtypes[i]=='object': df[i]=df[i].str.replace('\r| ',''); df.to_csv('pd.csv',index=None,header=None)

注意：ksh版本的sed命令与bash版本功能差异较大，ksh版本可能无法实现某些功能。