玩蛇网提供最新Python编程技术信息以及Python资源下载!

将大数据文件分割为小文件的python方法

python 培训

做大数据处理时会遇到需要把大文件分割成多份小文件操作,用python 文件方法来解决很方便。但要记得测试时一定要修改要分割的文件名哦。

下面看看我自己的将大数据文件分割为小文件的python方法,供参考!

#encoding=utf-8

import os

def splitfile(filepath,partialsize=1024*1024*10):

    filedir,name = os.path.split(filepath)

    name,ext = os.path.splitext(name)

    filedir = os.path.join(filedir,name)

    if not os.path.exists(filedir):
        os.mkdir(filedir)
        
    partno = 0
    stream = open(filepath,'rb')

    while True:
        partfilename = os.path.join(filedir,name + '_' + str(partno) + ext)
        print 'write start %s' % partfilename
        part_stream = open(partfilename,'wb')

        read_count = 0
        read_size = 1024*512
        read_count_once = 0

        while read_count < partialsize:
            read_content = stream.read(read_size)
            read_count_once = len(read_content)

            if read_count_once>0:
                part_stream.write(read_content)

            else : break
            
            read_count += read_count_once

        
        part_stream.close()

        if(read_count_once < read_size) : break
        partno += 1

    print 'done'

#www.iplaypython.com
if __name__ == '__main__':
    splitfile(r'E:\quotelogs\quote.data',1024*1024*100)

其它python文章分割相关文章推荐:
Python文件合并与分割操作方法工具
Python读取分割压缩TXT文本文件的方法

玩蛇网原创,转载请注明文章出处和来源网址:http://www.iplaypython.com/code/text-file/tf2310.html



微信公众号搜索"玩蛇网Python之家"加关注,每日最新的Python资讯、图文视频教程可以让你一手全掌握。强烈推荐关注!

微信扫描下图可直接关注

玩蛇网Python新手QQ群,欢迎加入: ① 240764603 玩蛇网Python新手群
文章发布日期:2016-05-05 15:50 玩蛇网 www.iplaypython.com

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
相关文章推荐
别人正在看
特别推荐
去顶部去底部