玩蛇网提供最新Python编程技术信息以及Python资源下载!
您现在的位置: 玩蛇网首页 > 【Python资讯】Python业界新闻 > 正文内容

Hadoop分布布应用程序之Apache Python Twill

Python入门佳作 经典教程的全新修订 10个项目引人入胜
玩蛇网推荐图文教程:python黑客多线程扫描器

    Hadoop分布布应用程序之Apache Python Twill,技术人员们认为有必要推出他们自己的一套——这套库集被称为Weave——旨在大大简化将应用程序导向YARN并使其顺利运行的难度。

    初步取得成功后他们决定再接再厉,将Weave打造成一个更大、具行业影响力的好项目,Weave被提交给Apache Incubator,作为培植项目之一继续健康发展。

    开源的可选方式多种多样,但我们希望twill python能够真正被采用、扩展并最终适应社区的实际需求,就目前来看,大部分这类需求都围绕着由Java所编写的应用程序。不过目前项目已经迎来了新设想,希望在未来让Twill具备直接支持其它语言在JVM当中运行的能力,Python就是种可能性很高的候选语言——不过Gray认为这项工作最好是由社区中的某些成员来完成,例如那些供职于Python企业的技术人员。

    从这里开始,Weave拥有了自己的全新生命,并开始作为Apache项目登上新的高峰——这就是我们今天文章的主角:Apache Twill。

Hadoop如今已经成为一项引人注目的方案,这一点几乎已经没有疑问,该项目的成功随着其2.0版本的发布而进一步扩展。

    新近引入的YARN能够帮助几乎所有应用程序:而不只是与Hadoop相关常用MapReduce作业类应用,以更为简便的方式发布在Hadoop集群之上。

不过问题仍然存在,最麻烦的情况之一在于配合YARN之后Hadoop开始变得很难被正常使用。通过YARN运行的应用程序必须以自己独特的方式进行跨平台通信或者处理错误,这实在让管理人员们感到有些头痛。

我们最初推出Weave的时候,原本是将其通过GitHub进行推广的,在GitHub上,针对开源的成果消费势头很强、但贡献却相对少很多。这并不是个由社区创建的网站。它非常适合作为成果的共享平台,但却并不适合作为社区建设的基础。

相比之下,Apache的处理方式更符合我们的预期流程,即将一款软件打造成用户社区的明确中心。

不过关于twill python,最普遍的理念是进一步扩展所面向应用程序的适用范围。“Hadoop与YARN的主要使用方仍然是MapReduce,”Gray表示。“但Twill能够帮助大量并未通过MapReduce所开发出的开源应用。”而这反过来又将有助于推动对YARN的转变要求、同时塑造这款框架的未来发展方向。

玩蛇网文章,转载请注明出处和来源网址:http://www.iplaypython.com/news/hadoop-apache-twill.html



微信公众号搜索"玩蛇网Python之家"加关注,每日最新的Python资讯、图文视频教程可以让你一手全掌握。强烈推荐关注!

微信扫描下图可直接关注

在线python培训课程

玩蛇网PythonQQ群,欢迎加入: ① 240764603 玩蛇网Python新手群
出炉日期:2016-01-27 14:29 玩蛇网 www.iplaypython.com

我要分享到:
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules