玩蛇网提供最新Python编程技术信息以及Python资源下载!
您现在的位置: 玩蛇网首页 > Python源码实例_Python程序源代码_网站项目下载 > 正文内容

Python设置检查点的实现方法_源码

Python入门佳作 经典教程的全新修订 10个项目引人入胜
玩蛇网推荐图文教程:python黑客多线程扫描器

这篇文章和大家介绍一下关于Python设置检查点的实现方法源码,涉及Python设置检查点的相关技巧,需要的朋友可以参考如下代码:

检查点其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址。

Python检查点

现在的任务是下载那些地址中的内容,另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功,有可能出现断链或者socket异常错误。
不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。

而不是从开始的地方跑,这个问题非常简单,因为这些链接是上下文无关的(上下文有关的情况要另外分析),所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。

# Python设置检查点的实现方法代码下如

注释: 这个异常是原文本内容中未出现检查点内容出现造成的   

class CheckPointMissContentError:   
    pass  
# 将文件读取指针fd移至到检查点对应的内容处   
# check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入   
# 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。   
def GoCheckPoint(fd,check_point):   
    if not os.path.isfile(check_point):   
        f_check = open(check_point,'w')   
        f_check.close()   
    f_check = open(check_point,'r')   
    lines = f_check.readlines()   
    if len(lines) > 0:   
        check_content = lines[-1] #找到检查点最后一行   
        check_content = check_content.strip(' \n\r')   
        # go to check point   
        while True:   
            content = fd.readline()   
            if content == '': # eof   
                raise CheckPointMissContentError   
            if content.strip(' \n\r') == check_content:   
                break  
                   
    f_check.close()#关闭检查点  


# 第二段的伪代码   
def Download(downloadlist,sleep_time):   
       
    if os.path.isfile(downloadlist):   
        f = open(downloadlist)   
       # check_point file name,这里为自动生成一个检查点文件   
        check_point = file[0:file.rfind('.')]+'_check.txt'  
        Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数   
        f_check = open(check_point,'a')# 以追加方式写入   
           
        try:   
            while True:   
                content = f.readline()   
                if content == '': # eof   
                    break  
                content = content.strip(' \n\r')   
                if content != '':   
                    # has download url   
                    time.sleep(sleep_time)   
                    DownloadOper(path,url) 
               #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的   
               # 作为响应的操作后再将内容写入检查点文件
               # www.iplaypython.com
                    f_check.write(content+'\n')   
                    f_check.flush() # 必须的,否则会缓存,不会写入硬盘中   
        except : # 蹦个异常也不怕,以后再次按F5执行即可   
            raise Exception()   
            return Util.FAILUR
2000
E # 这是我设置的常量,大家认为是0或者1就可以了   
        finally:   
            f.close()   
            f_check.close()# 关闭文件   
        print('Downloading  is done........................')   
        return Util.SUCCESS  

关于Python设置检查点方法与源码,玩蛇网就先介绍到这里了。

玩蛇网文章,转载请注明出处和来源网址:http://www.iplaypython.com/code/c2718.html



微信公众号搜索"玩蛇网Python之家"加关注,每日最新的Python资讯、图文视频教程可以让你一手全掌握。强烈推荐关注!

微信扫描下图可直接关注

玩蛇网PythonQQ群,欢迎加入: ① 240764603 玩蛇网Python新手群
出炉日期:2015-12-18 14:27 玩蛇网 www.iplaypython.com

我要分享到:
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules