,,利用Python编写的实用运维脚本分享

,,利用Python编写的实用运维脚本分享

Python可以在很大程度上取代shell脚本。一般作者使用shell进行单行命令,Python直接用于复杂的多行操作。本文总结了Python中一些实用的脚本操作,有需要的可以参考一下。

:

目录

1.执行外部程序或命令。文件和目录操作(命名、删除、复制、移动等。) 3.创建并解压缩归档文件。参考Python可以在很大程度上替代shell脚本。一般作者使用shell进行单行命令,Python直接用于复杂的多行操作。本文总结了Python的一些实用脚本操作。

1. 执行外部程序或命令

我们有下面的C语言程序cal.c(编译为。out file),它负责输入两个命令行参数并打印它们的总和。这个程序需要用Python调用C语言程序,检查程序是否正常返回(正常返回会返回0)。

# includestdio.h

#includestdlib.h

int main(int argc,char* argv[]){

int a=atoi(argv[1]);

int b=atoi(argv[2]);

int c=a b;

printf('%d %d=%d\n ',a,b,c);

返回0;

}

然后,我们可以使用子流程模块的run函数来生成一个子流程:

RES=subprocess . run([' Python-Lang/cal . out ',' 1 ',' 2'])

打印(结果返回代码)

您可以看到控制台打印出了进程的返回值0:

1 2=3

0

当然,如果中途杀了程序。比如我们把下面的while.c程序写成下面的无限循环(编译为。文件外):

# includestdio.h

#includestdlib.h

int main(int argc,char* argv[]){

while(1);

返回0;

}

我们还使用run函数来接收它的返回值:

RES=subprocess . run(' Python-Lang/while . out ')

打印(结果返回代码)

但是,我们使用shell命令来终止正在运行的程序:

(base)Orion-Orion @ MacBook-Pro Python-Lang % PS-a | grep while

11829 ttys 001 0:17.49 Python-Lang/while . out

11891 ttys005 0:00.00 grep而

(基础)Orion-Orion @ MacBook-Pro Python-Lang % kill 11829

可以看到控制台打印输出的进程返回值是-15(因为-N的负值表示子进程被信号N终止,而kill命令的默认信号是15,会终止进程):

-15

如果程序陷入死循环,无法正常终止,我们总不能永远等下去吧?此时,我们可以设置超时机制并捕捉异常:

尝试:

RES=subprocess . run([' Python-Lang/while . out '],capture_output=True,timeout=5)

除了子流程。超时过期时间为e:

打印(e)

异常结果将被打印出来:

命令“['Python-Lang/while.out']”在5秒后超时

有时候你需要得到程序的输出结果。此时,您可以添加capture_output参数,然后访问返回对象的stdout属性:

res=subprocess.run(['netstat ','-a'],capture_output=True)

out_bytes=res.stdout

输出以字节字符串的形式返回。如果您想将其解释为文本,您可以添加另一个解码步骤:

out _ text=out _ bytes . decode(' utf-8 ')

打印(输出文本)

您可以看到文本形式的输出结果已经正常获得:

.

kctl 0 0 33 6 com.apple.netsrc

kctl 0 0 34 6 com.apple.netsrc

kctl 0 0 1 7 com . apple . network . statistics

kctl 0 0 2 7 com . apple . network . statistics

kctl 0 0 3 7 com . apple . network . statistics

(base)Orion-Orion @ MacBook-Pro Learn-Python %

一般来说,命令的执行不需要依赖底层shell的支持(如sh、bash等。),而我们提供的字符串列表会直接传递给底层系统调用,比如os.execve()。如果希望通过shell执行命令,只需给出参数shell=True,并以简单字符串的形式提供命令。例如,当我们希望Python执行一个涉及管道、I/O重定向或其他复杂事情的Shell命令时,我们可以这样写:

out _ bytes=subprocess . run(' PS-a | WC-l out ',shell=True)

2. 文件和目录操作(命名、删除、拷贝、移动等)

当我们要处理文件名和路径时,为了保证最好的可移植性(尤其是同时运行在Unix和Windows上时),最好使用os.path中的函数,例如:

导入操作系统

file _ name='/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang/test . txt '

print(os.path.basename(文件名))

# test.txt

print(os.path.dirname(文件名))

#/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang

print(os.path.split(文件名))

#('/Users/Orion-Orion/Documents/local code/Learn-Python/Python-Lang ',' test.txt ')

print(os.path.join('/new/dir ',os.path.basename(文件名)))

# /new/dir/test.txt

print(OS . path . expand user(' ~/Documents '))

#/用户/Orion-Orion/文档

其中,当用户或$HOME未知时,os.path.expanduser将不执行任何操作。例如,我们这里的$HOME是/Users/orion-orion:

(base)Orion-Orion @ MacBook-Pro ~ % echo $ HOME

/用户/猎户座-猎户座

如果要删除文件,请使用os.remove(删除前注意判断文件是否存在):

file _ name=' Python-Lang/test . txt '

如果os.path .存在(文件名):

os.remove(文件名)

接下来,我们来看看如何复制文件。当然,最直接的方法是调用Shell命令:

OS . system(' CP Python-Lang/test . txt Python-Lang/test 2 . txt ')

当然,这还不够优雅。您可以使用shutil模块,而不是调用shell命令,shutil模块提供了对文件和文件集合的一系列高级操作,包括文件复制和移动/重命名。这些函数的参数是字符串,用于提供文件或目录的名称。下面是一个例子:

src='Python-Lang/test.txt '

dst='Python-Lang/test2.txt '

#对应于cp src dst(复制文件,如果存在则覆盖它)

shutil.copy(夏令时,夏令时)

src='Python-Lang/sub_dir '

dst='Python-Lang/sub_dir2 '

#对应于cp -R src dst(复制整个目录树)

shutil.copytree(src,dst)

src='Python-Lang/test.txt '

dst=' Python-Lang/sub _ dir/test 2 . txt '

#对应mv src dst(移动文件,可以选择是否重命名)

shutil.move(src,dst)

如您所见,正如评论所说,这些函数的语义类似于Unix命令的语义。如果对Unix下的文件复制/移动不熟悉,可以参考Linuxshell对文件解压、复制和移动的详细说明。

默认情况下,如果源文件是一个符号链接,目标文件将是该链接指向的文件的副本。如果您只想复制符号链接本身,可以提供关键字参数follow_symlinks:

shutil.copy(src,dst,follow_symlinks=True)

如果要在复制的目录中保留符号链接,可以这样做:

shutil.copytree(src,dst,symlinks=True)

有时候,在复制整个目录时,需要忽略特定的文件和目录,例如。pyc,一个中间进程字节码。我们可以为copytree提供一个ignore函数,它将目录名和文件名作为输入参数,并返回一个要忽略的名称列表作为结果(这里是。使用string对象的endswith方法,用于获取文件类型):

def ignore_pyc_files(目录名,文件名):

return[name for name in filenames if name . ends with(' pyc ')]

shutil.copytree(src,dst,ignore=ignore_pyc_files)

然而,由于忽略文件名的模式非常普遍,因此提供了一个实用函数ignore_patterns()供我们使用(相关模式类似于。gitignore):

shutil.copytree(src,dst,ignore=Shu til . ignore _ patterns(' * ~ ',' *。pyc '))

注意:' * ~ '模式匹配这里是一个由文本编辑器(比如Vi)生成的以' ~ '结尾的中间文件。

os.listdir()中也经常使用忽略文件名。例如,在数据密集型(如机器学习)应用中,我们需要遍历数据目录中的所有数据集文件并加载它们,但我们需要排除以开头的隐藏文件。比如。git,否则我们会出错。这时,我们可以用下面的写法:

导入操作系统

导入操作系统

filenames=[filename for filename in OS . listdir(' python-lang/data ')如果不是filename .以('.'开头)] #注意os.listdir返回一个没有路径的文件名。

让我们回到copytree()。当使用copytree()复制一个目录时,一个棘手的问题是错误处理。比如在复制的过程中,遇到一些损坏的符号链接,或者由于权限问题导致一些文件无法访问。在这种情况下,所有遇到的异常都将被收集在一个列表中,并组合成一个单独的异常,该异常将在操作结束时抛出。例子如下:

导入技能

src='Python-Lang/sub_dir '

dst='Python-Lang/sub_dir2 '

尝试:

shutil.copytree(src,dst)

除了舒蒂尔。错误为e:

对于e.args[0]中的src、dst、msg:

打印(src、dst、msg)

如果ignore_dangling_symlinks=True,那么copytree将忽略悬挂符号链接。

了解更多关于shutil的使用信息(如日志记录、文件权限等。),请参考shutil文档[4]。

接下来,让我们看看如何使用os.walk()函数遍历分层目录来搜索文件。给它提供顶级目录就行了。例如,以下函数用于查找特定的文件名,并打印出所有匹配结果的绝对路径:

导入操作系统

def findfile(开始,名称):

对于操作系统中的relpath、dir、文件,walk(start):

如果名称在文件中:

#打印(relpath)

full _ path=OS . path . ABS path(OS . path . join(relpath,name))

打印(完整路径)

start=' . '

name='test.txt '

findfile(开始,名称)

如你所见,os.walk可以为我们遍历目录层次结构,它为每个输入的目录层次结构返回一个三元组,包括:被查看目录的相对路径(相对脚本执行路径),被查看目录中包含的所有目录名的列表,被查看目录中包含的所有文件名的列表。Os.path.abspath这里接受一个可能的相对路径,并将其形成一个绝对路径。

此外,我们还可以让脚本执行更复杂的功能,比如下面的函数打印出所有最近修改的文件:

导入操作系统

导入时间

def modified_within(开始,秒):

now=time.time()

对于操作系统中的relpath、dir、文件,walk(start):

对于文件中的名称:

full_path=os.path.join(relpath,name)

mtime=OS . path . getmtime(full _ path)

if mtime(现在-秒):

打印(完整路径)

start=' . '

秒=60

修改_范围内(开始,60)

3. 创建和解包归档文件

如果您只想创建或解压缩归档文件,可以直接使用shutil模块中的高级功能:

导入技能

shutil . make _ archive(base _ name=' data ',format='zip ',root_dir='Python-Lang/data ')

shutil . unpack _ archive(' data . zip ')

第二个参数format是预期输出的格式。要获得受支持的存档格式列表,可以使用get_archive_formats()函数:

print(shutil . get _ archive _ formats())

# [('bztar ',' bzip2'ed tar-file '),(' gztar ',' gzip'ed tar-file '),(' tar ',' uncompressed tar file '),(' xztar ',' xz'ed tar-file '),(' zip ',' ZIP file')]

Python还提供了tarfile、zipfile、gzip等模块。来处理归档格式的底层细节。例如,如果我们想要创建并解压缩一个. zip存档文件,我们可以这样写:

导入zip文件

用zipfile。ZipFile('Python-Lang/data.zip ',' w') as zout:

zout.write(文件名='Python-Lang/data/test1.txt ',arcname='test1.txt ')

zout.write(文件名='Python-Lang/data/test2.txt ',arcname='test2.txt ')

用zipfile。ZipFile('Python-Lang/data.zip ',' r') as zin:

Zin . extract all(' python-lang/data2 ')#如果没有,将自动创建data 2目录。

参考

[1]https://docs . python . org/3/library/subprocess . html

[2]https://stack overflow . com/questions/28708531/what-do-in-a-git ignore-file

[3]https://stack overflow . com/questions/7099290/how-to-ignore-hidden-files-using-OS-listdir

[4]https://docs . python . org/3/library/shutil . html

关于分享Python写的实用运维脚本的这篇文章到此为止。关于Python运维脚本的更多信息,请搜索我们之前的文章或者继续浏览下面的相关文章。希望你以后能支持我们!

郑重声明:本文由网友发布,不代表盛行IT的观点,版权归原作者所有,仅为传播更多信息之目的,如有侵权请联系,我们将第一时间修改或删除,多谢。

留言与评论(共有 条评论)
   
验证码: