python合并csv文件,并利用结果进行计算,python csv文件处理
由于项目检索的需要，需要将两个不同的csv文件合并为一个文件，所以下面文章主要介绍用python合并csv文件的相关信息。通过示例代码介绍的非常详细，有需要的朋友可以参考一下。
00-1010 1.用concat方法合并csv2。Glob模块批量合并csv补充：Python处理(加载、合并)多个CSV文件摘要
目录
通过熊猫的read_csv和to_csv合并两个完全相同的csv文件的数据，即采用concat方法：
#加载第三方库
进口熊猫作为pd
将numpy作为np导入
#读取文件
Df1=pd.read_csv (file -1.csv )
Df2=pd.read_csv (file -2.csv )
#合并
df=pd.concat([df1，df2])
Df.drop_duplicates() #重复数据删除
#保存合并的文件
Df.to_csv (file.csv ，编码= UTF-8 )
您还可以添加一列标签来区分两个合并的数据：
#加载第三方库
进口熊猫作为pd
将numpy作为np导入
#读取文件
Df1=pd.read_csv (file -1.csv )
1 [来自文件]=文件-1
Df2=pd.read_csv (file -2.csv )
2 [来自文件]=文件-2
#合并
df=pd.concat([df1，df2])
Df.drop_duplicates() #重复数据删除
#保存合并的文件
Df.to_csv (file.csv ，编码= UTF-8 )
1.用concat方法合并csv
用合并几个文件时，可以使用上面的concat方法。而当需要合并大量相同的文件时，此时应该进行批量合并，这样可以减少工作量，提高操作效率。
使用Python批量合并csv，这里介绍的方法是引入glob模块。
Glob模块是最简单的模块之一，内容不多。它可以找到符合特定规则的文件路径名。
用glob方法遍历所有文件，读取数据并另外保存在文件中。
将numpy作为np导入
进口熊猫作为pd
导入全球
进口re
csv_list=glob.glob(*。CSV’)
打印(找到%s个CSV文件“% len(csv_list))
打印(正在处理..)
对于csv_list:中的I
fr=open(i， r ，编码=utf-8 )。阅读()
With (file collection.csv ， a ，encoding= utf-8 )为f:
f.write(法国)
打印(“合并完成！”)
上面的方法是合并csv文件，excel文件也是一样。
2.glob模块批量合并csv
数据集介绍：这个数据集是一个化学系统的数据，总共有很多个月。我这里取一个月的数据集，August _ data(8月数据集)，共31个csv文件。
方法一遍历OS。listdir(目录路径)[用于tqdm]操作系统中的文件。path.join(路径，文件)
进口熊猫作为pd
将numpy作为np导入
从tqdm导入tqdm
导入操作系统
def get_data(路径):
df_list=[]
对于tqdm中的文件(os.listdir (path)) : # #进度条
file_path=os.path.join(路径，文件)
df=pd.read_csv(文件路径)
df_list.append
df=pd.concat(df_list)
返回df
cPath=。\八月_数据
# cpath= f :/BaiduneDiskDownload/宁东电厂数据及分析要求/宁东脱销系统优化-上海交通大学/SCR数据-2020年1月/8月数据 # f :/BaiduneDiskDownload/宁东电厂数据及分析要求/宁东脱销系统优化-上海交通大学/SCR数据-2000
# uPath=str(cPath)# uPath=unicode(cPath， utf-8 )
# dirs=os.listdir(TEST_PATH)
#打印(目录)
test_df=get_data(cPath)
print(test_df.head())
# test _ df . to _ CSV(path _ or _ buf= test . CSV ，index=false) #另存为CSV文件
方法二滴法
#!/usr/bin/env python
#编码=utf-8
导入全球
导入时间
导入csv
进口熊猫作为pd
从tqdm导入tqdm
#一个新文件
#打开所有CSV文件
#遍历文件夹下的所有csv文件
TEST_PATH=。\八月_数据
CSV _ list=glob . glob(f“{ TEST _ PATH } \ *。CSV’)
打印(有%s个CSV文件 % len(csv_list))
#打印(csv_list)
def获取数据():
df_list=[]
对于csv_list:中的csv_file
df=pd.read_csv(csv_file)
df_list.append
df=pd.concat(df_list)
打印(“加载Oer”)
返回df
get_data()
补充：Python处理(加载、合并)多个csv文件
这就是这篇关于用python合并csv文件的文章。关于用python合并csv文件的更多信息，请搜索热门IT软件开发工作室之前的文章或者继续浏览下面的相关文章。希望大家以后多多支持热门IT软件开发工作室！
郑重声明：本文由网友发布，不代表盛行IT的观点，版权归原作者所有，仅为传播更多信息之目的，如有侵权请联系，我们将第一时间修改或删除，多谢。