【岗位职责】 1.参与爬虫项目的架构设计、研发、编程工作，改进和提升爬虫效率； 2.负责爬虫数据的分布式存储设计及代码实现； 3.负责网页信息抽取、清洗、消重和结构化处理等工作； 4.解决各类反爬问题，如字体加密、JS混淆、验证码、APP抓包和逆向工程; 5.对爬虫数据进行数据处理、分析及匹配。 【任职要求】 1.计算机相关专业，有三年以上 Python 开发经验，熟练 Python 语言； 2.熟练掌握selenium、html、js、css、xpath、正则表达式等数据采集与提取工具； 3.精通常见的反爬虫技术如字体加密、js混淆、滑块验证、点选验证、app逆向等； 4.精通scrapy爬虫框架，对分布式爬虫、海量数据采集有深刻理解; 5.熟悉 Django 、Flask等web框架，以及自动化开发经验者优先考虑； 6.能熟练使用Linux、Mongo、ES、Redis、kafka等技术优先考虑； 7.有激情和责任心，积极主动，具有良好的团队协作、对外沟通能力，有良好的自学能力。提供 Github 或者博客地址，有开源项目贡献者优先考虑