python遍历目录文件并读取的操作是什�
Admin 2022-09-30 群英技术资�
import os path= "./data" #路径 files = os.listdir(path) #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表� for file in files: print(file) if os.path.isfile(path+ "/"+file): #os.path.isfile(path) 判断路径是否为文� print('file'+'这是一个文�') filename,extension = os.path.splitext(file) #分割路径,返回路径名和文件扩展名的元� if extension == ".txt": print(filename+'这是一个文本文�') elif extension == ".xlsx": print(filename+'这是一个excel文件') if os.path.isdir(path + "/" +file): print(file+"是一个文件夹")
读取结果:
在我们遍历文件夹的基础上,如何实现快速读取指定文件,提高工作效率�
只需要在上述代码的基础上,导入pandas
包,read_excel_
我们所需要的文件即可
import pandas as pd import os path = './data' def get_all_files(path): print('-'*25+'函数被调�'+'-'*25) files = os.listdir(path) #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表� for file in files: if os.path.isfile(path+ "/"+file): #os.path.isfile(path) 判断路径是否为文� print('file'+">>>>>是文�") filename,extension = os.path.splitext(file) #分割路径,返回路径名和文件扩展名的元� if extension == ".txt": print(filename+"#####是文本文�#####") print("读取"+filename+"文件中的内容...........") data = pd.read_table(path+'/'+file) print(data) elif extension == ".xlsx": print(filename+'#####是Excel文件#####') print("读取"+filename+"文件中的内容...........") data = pd.read_excel(path+'/'+file) print(data) elif extension == ".csv": print(filename+'#####是csv文件#####') print("读取"+filename+"文件中的内容...........") data = pd.read_csv(path+'/'+file) print(data) if os.path.isdir(path + "/" +file): print(file+"¥¥¥¥¥¥¥是文件夹¥¥¥¥¥¥¥") get_all_files(path+'/'+file) get_all_files(path)
读取成功�
在日常工作中我们有很多表格需要处理,如何批量的将很多个文件夹中的表格合并到一起?
重点�
DataFrame.append(*other*, *ignore_index=False*, *verify_integrity=False*, *sort=None*)
other:
是要添加的数据,append很不挑食,这个other可以是dataframe,dict,Seris,list等等�ignore_index:
参数为True时将在数据合并后,按�0�1�2�3....的顺序重新设置索引,忽略了旧索引�verify_integrity�
参数为True时,如果合并的数据与原数据包含索引相同的行,将报错�path='./project_data' ## 声明一个空的DataFrame,用来做最终的数据合并 final_data = pd.DataFrame() # 声明一个空的DataFrame,用来做最终的数据合并 final_data = pd.DataFrame() def get_all_files(path): global final_data print("-"*20 + "函数被调�" + "-"*20) files = os.listdir(path) for file in files: if os.path.isfile(path + "/" +file): print(file+">>>>>是文�") filename,extension=os.path.splitext(file) # 判断是不是文本文� if extension == ".txt" : print(filename+"#####是文本文�#####") print("读取"+filename+"文件中的内容...........") data = pd.read_table(path+'/' +file) print(data) elif extension=='.xlsx': print(filename+"#####是Excel文件#####") print("读取"+filename+"文件中的内容...........") data = pd.read_excel(path+'/' +file) print(data) elif extension=='.csv': print(filename + "是csv文件,是本次需要处理的文件") # 获取文件内容 file_data = pd.read_csv(path +'/'+file) final_data = final_data.append(file_data,ignore_index=True) #append描述:在列表ls最�(末尾)添加一个元素object print("《《《《合�"+filename+"文件数据》》》�") # 判断是不是文件夹 elif os.path.isdir(path+'/'+file): print(file + "¥¥¥¥是文件夹¥¥¥¥¥¥") get_all_files(path + '/' + file) get_all_files(path) print("数据合并完成")
开始合并,我们来查看一下合并后的数据:
总共1000多万条数据,如果我们用Excel的话估计要很多时间将这么多表格合并,而且会很卡,
import os path= "./data" #路径 files = os.listdir(path) #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表� for file in files: print(file) if os.path.isfile(path+ "/"+file): #os.path.isfile(path) 判断路径是否为文� print('file'+'这是一个文�') filename,extension = os.path.splitext(file) #分割路径,返回路径名和文件扩展名的元� if extension == ".txt": print(filename+'这是一个文本文�') elif extension == ".xlsx": print(filename+'这是一个excel文件') if os.path.isdir(path + "/" +file): print(file+"是一个文件夹")
读取结果:
在我们遍历文件夹的基础上,如何实现快速读取指定文件,提高工作效率�
只需要在上述代码的基础上,导入pandas
包,read_excel_
我们所需要的文件即可
import pandas as pd import os path = './data' def get_all_files(path): print('-'*25+'函数被调�'+'-'*25) files = os.listdir(path) #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表� for file in files: if os.path.isfile(path+ "/"+file): #os.path.isfile(path) 判断路径是否为文� print('file'+">>>>>是文�") filename,extension = os.path.splitext(file) #分割路径,返回路径名和文件扩展名的元� if extension == ".txt": print(filename+"#####是文本文�#####") print("读取"+filename+"文件中的内容...........") data = pd.read_table(path+'/'+file) print(data) elif extension == ".xlsx": print(filename+'#####是Excel文件#####') print("读取"+filename+"文件中的内容...........") data = pd.read_excel(path+'/'+file) print(data) elif extension == ".csv": print(filename+'#####是csv文件#####') print("读取"+filename+"文件中的内容...........") data = pd.read_csv(path+'/'+file) print(data) if os.path.isdir(path + "/" +file): print(file+"¥¥¥¥¥¥¥是文件夹¥¥¥¥¥¥¥") get_all_files(path+'/'+file) get_all_files(path)
读取成功�
在日常工作中我们有很多表格需要处理,如何批量的将很多个文件夹中的表格合并到一起?
重点�
DataFrame.append(*other*, *ignore_index=False*, *verify_integrity=False*, *sort=None*)
other:
是要添加的数据,append很不挑食,这个other可以是dataframe,dict,Seris,list等等�ignore_index:
参数为True时将在数据合并后,按�0�1�2�3....的顺序重新设置索引,忽略了旧索引�verify_integrity�
参数为True时,如果合并的数据与原数据包含索引相同的行,将报错�path='./project_data' ## 声明一个空的DataFrame,用来做最终的数据合并 final_data = pd.DataFrame() # 声明一个空的DataFrame,用来做最终的数据合并 final_data = pd.DataFrame() def get_all_files(path): global final_data print("-"*20 + "函数被调�" + "-"*20) files = os.listdir(path) for file in files: if os.path.isfile(path + "/" +file): print(file+">>>>>是文�") filename,extension=os.path.splitext(file) # 判断是不是文本文� if extension == ".txt" : print(filename+"#####是文本文�#####") print("读取"+filename+"文件中的内容...........") data = pd.read_table(path+'/' +file) print(data) elif extension=='.xlsx': print(filename+"#####是Excel文件#####") print("读取"+filename+"文件中的内容...........") data = pd.read_excel(path+'/' +file) print(data) elif extension=='.csv': print(filename + "是csv文件,是本次需要处理的文件") # 获取文件内容 file_data = pd.read_csv(path +'/'+file) final_data = final_data.append(file_data,ignore_index=True) #append描述:在列表ls最�(末尾)添加一个元素object print("《《《《合�"+filename+"文件数据》》》�") # 判断是不是文件夹 elif os.path.isdir(path+'/'+file): print(file + "¥¥¥¥是文件夹¥¥¥¥¥¥") get_all_files(path + '/' + file) get_all_files(path) print("数据合并完成")
开始合并,我们来查看一下合并后的数据:
总共1000多万条数据,如果我们用Excel的话估计要很多时间将这么多表格合并,而且会很卡,
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:[email protected]进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容�
猜你喜欢
这篇文章主要介绍了pygame实现井字棋之第二步逻辑实现,文中有非常详细的代码示例,对正在学习python的小伙伴们有非常好的帮助,需要的朋友可以参考下
1 一致性的建议打破一条既定规则的两个好理由当应用这个规则将导致代码可读性下�,即使对于某人来说他已经习惯于按照这条规则来阅读代�
这篇文章主要介绍了python实现三次密码验证的示例,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
这篇文章主要介绍了介绍了Python的输�,输出和标识符,有需要的朋友们可以参考一下,希望能给您带来帮�
数据库是存储和管理数据的仓库,但数据库并不能直接存储数据,数据是存储在表中的,在存储数据的过程中一定会用到数据库服务器,所谓的数据库服务器就是指在计算机上安装一个数据库管理程序,如MySQL。数据库、表、数据库服务器之间的关系,如图所示�
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所�
增值电信经营许可证 : B1.B2-20140078