岗位职责

1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作；

2. 数据采集工具软件平台的开发、测试工作；

3. 负责分析新的数据需求‚ 完成数据处理的设计 文档 和实现；

4. 负责数据的清洗、整理、整合及合并等工作；

5. 负责数据处理程序设计框架改善‚ 数据处理性能优化‚ 系统数据处理的能力提高；

6. 实时*****爬虫的进度和警报反馈。

注：1. 有大数据、互联网公司工作经验优先；

2. 有etl设计、数据仓库设计、维度设计、数据挖掘工具者优先考虑。

相关经验、技能要求

1. 本科以上学历，3年以上开发经验，其中2年以上爬虫开发经验；

2. 熟悉linux，精通python；

3. 熟悉协议，有网络编程经验；

4. 熟悉java，html，css，熟悉ajax；

5. 精通网页抓取原理和相关技术，了解常见的反扒机制；

6. 熟悉python爬虫框架 scrapy‚ scrapy-redis‚ selenium‚ phantomjs；

7. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；

8. 熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；

9. 学习能力强，工作负责认真，具有强烈的进取精神和乐观的工作态度。

联系方式/地图

• 公司地址：上海市杨浦区****
• 邮政编码：********
• 联系电话：********
• 联系人：********
• 传　　真：********
• E-mail：********

您可能感兴趣的职位