python合并csv文件,并利用结果进行计算,python读取本地csv文件

　　大家好，本文主要讲Python实现本地csv文件合并。有兴趣的同学过来看看，如果对你有帮助记得收藏。

　　00-1010 I .单个文件的合并II。将多个文件合并到一个文件夹中。合并多个文件夹下的多个文件。多文件夹总结【函数递归】本章的文件合并主要是针对的文件合并。csv。

一、单文件之间合并

　　csv_list=glob.glob(./input/covid19temp/2020/*。CSV’)

　　#如果不加*，就得到目录名。如果加上*，就会得到完整的目录数据。

　　打印(csv_list)

　　对于csv_list:中的I

　　fr=打开(I， r )。阅读()

　　用open(2020csvdata.csv ， a )作为f:

　　f.write(法国)

　　 f.close()

　　print(数据文件合并完成！)

csv_list=glob.glob(../input/covid19temp/2020/*)
　　for i in csv_list:
　　 fr=open(i,rb).read()
　　 with open(2020csvdata2.csv,ab) as f:
　　 f.write(fr)
　　 f.close()
　　print(数据文件合并完成！)

csv_list=glob.glob(../input/covid19temp/2020/*)
　　csvdatadf=pd.DataFrame()
　　for i in csv_list:
　　 csvdata=pd.read_csv(i)
　　 csvdatadf=csvdatadf.append(csvdata)
　　print(数据文件合并完成！)

　　合并之后使用pd.read_csv读取文件数据，一共有20W+的疫情数据记录：

三、多个文件夹底下多个文件合并

import os
　　import pandas as pd 
　　import glob
　　import openpyxl
　　import numpy as np
　　path=../input/covid19temp # 写的路径
　　csv_lists=[] # 该列表的作用
　　# 是否更新目录判断：
　　if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
　　 if not path.endswith("/"):# 如果该路径的最后没有加上/的话，会帮忙加一个/
　　 path+="/"
　　 print(path)

　　如上图所示，路径后面多了一个 ‘/’，否则路径会找不到

　　文件操作：

　　os.listdir()： 列出路径下所有的文件

　　os.path.join()： 连接文件的作用

　　os.path.isdir()： 判断是否是文件夹

import os
　　import pandas as pd 
　　import glob
　　import openpyxl
　　import numpy as np
　　path=../input/covid19temp # 写的路径
　　csv_lists=[] # 该列表的作用
　　# 是否更新目录判断：
　　if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
　　 if not path.endswith("/"):# 如果该路径的最后没有加上/的话，会帮忙加一个/
　　 path+="/"
　　 print(path)
　　 for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件
　　 print(each)

import os
　　import pandas as pd 
　　import glob
　　import openpyxl
　　import numpy as np
　　path=../input/covid19temp # 写的路径
　　csv_lists=[] # 该列表的作用
　　# 是否更新目录判断：
　　if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
　　 if not path.endswith("/"):# 如果该路径的最后没有加上/的话，会帮忙加一个/
　　 path+="/"
　　 print(path)
　　 for each in os.listdir(path):# os.listdir()： 列出路径下所有的文件
　　 print(each)
　　 sub_path=path+each
　　 path_list=[]
　　 if os.path.isdir(sub_path):
　　 path_list.append(sub_path)
　　 csv_lists.append(path_list) # 生成主目录下路径列表（非文件）
　　# 根据路径进行路径下文件列表的生成
　　csvlists=[]
　　for i in range(len(csv_lists)):
　　# print(i)
　　 csvlists.append(glob.glob(csv_lists[i][0]+/*.csv)) 
　　csvlists
　　# 获取每年的文件路径
　　csvfilelist=[]
　　for j in range(len(csvlists)):
　　 for k in csvlists[j]:
　　 csvfilelist.append(k)
　　csvfilelist
　　csvdatadf=pd.DataFrame()
　　for m in csvfilelist:
　　 filesize=os.path.getsize(m)
　　 if filesize>0:
　　 csvdata=pd.read_csv(m)
　　 csvdatadf=csvdatadf.append(csvdata)
　　 else:
　　 continue
　　print(数据合并完成)

四、多文件夹[函数递归]

import os 
　　import pandas as pd 
　　def mergeFiles(parent,path="",pathdeep=0):
　　 fileAbsPath=os.path.join(parent,path)
　　 if os.path.isdir(fileAbsPath)==True:
　　 if (pathdeep!=0 and(.ipynb_checkpoints not in str(fileAbsPath))):
　　 print(==+path)
　　 for filename2 in os.listdir(fileAbsPath):
　　 mergeFiles(fileAbsPath,filename2,pathdeep=pathdeep+1)
　　 else:
　　 print(path)
　　path=input("请输入需要的文件注主目录：")
　　mergeFiles(path)

总结

　　到此这篇关于Python实现本地csv文件合并的文章就介绍到这了,更多相关Python csv文件合并内容请搜索盛行IT软件开发工作室以前的文章或继续浏览下面的相关文章希望大家以后多多支持盛行IT软件开发工作室！

郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。

目录

一、单文件之间合并

三、多个文件夹底下多个文件合并

四、多文件夹[函数递归]

总结

相关文章阅读