玩蛇网提供最新Python编程技术信息以及Python资源下载!
您现在的位置: 玩蛇网首页 > Python招聘 > 正文内容

[青岛]Python高级开发工程师(网络爬虫及数据平台)

Python入门佳作 经典教程的全新修订 10个项目引人入胜
玩蛇网推荐图文教程:python黑客多线程扫描器 我公司是青岛的一家年轻的科技公司,跨国经营,崇尚创新,坚持高效。 因工作需要,招熟悉网络爬虫及数据平台操作的Python高级开发工程师。

应职岗位职责: 
需要对给定的诸多个网站的网页进行网页抓取、数据提取等工作; 
还需要负责特殊网页采集任务的分析及采集计划和采集方案的设计; 
并能够参与爬虫架构设计和研发工作,需要达到满足产品中数据抓取的要求; 
还要懂得算法,能参与Python爬虫核心算法和策略优化研究; 
抓取调度和策略优化,实时监控爬虫的进度和警报反馈; 
网络爬虫的核心系统, 数据平台的研发及维护工作。 

应聘者需要具备的条件: 
(1)学历:本科及以上学历,计算机相关专业; 
(2)经验:具有数据挖掘、信息检索、机器学习开发经验; 
精通HTML语言,熟悉JS、Lucene、Nutch、Heritrix、Scrapy、Crawler4j、Ajax、larbin、HtmlParse、WebMagic、WebCollector等开源工具的使用; 
精通网页抓取原理及技术,能从结构化的和非结构化的数据中获取信息; 
精通网络编程,熟悉HTTP传输协议,能模拟浏览器操作爬虫; 

熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL 等); 
熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等); 

具备web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取操作的经验者优先。 

我们希望你是以解决技术难题为乐,对程序完美有偏执追求;并具有团队精神,有想法,敢于挑战自我的伙伴! 

我们的联系方式:qingdao@cathaydigital.com 期待你加入到我们的团队!

玩蛇网文章,转载请注明出处和来源网址:http://www.iplaypython.com/job/j5761.html



微信公众号搜索"玩蛇网Python之家"加关注,每日最新的Python资讯、图文视频教程可以让你一手全掌握。强烈推荐关注!

微信扫描下图可直接关注

玩蛇网PythonQQ群,欢迎加入: ① 240764603 玩蛇网Python新手群
出炉日期:2016-03-29 10:39 玩蛇网 www.iplaypython.com

我要分享到:
评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)

必知PYTHON教程 Must Know PYTHON Tutorials

必知PYTHON模块 Must Know PYTHON Modules