开班时间:每月滚动开班
适合人群:大学生
校区:杭州和盈it教育、南京和盈it教育
400-012-8885
课程详情:
围绕科研数据获取、数据清洗和数据分析的编程技术培训。和盈邀请你的参与。
本次培训主要覆盖了四部分内容。 stata 编程、python 爬虫、 arcgis 应用和因果推断计量经济学与 stata 实现。旨在让学员熟练掌握 stata 数据的读取、数据的清洗和处理、网络数据读写;掌握 python 爬虫,并能独立编写爬虫程序,使用arcgis 进行地理信息数据管理、展示与分析等实用技术,了解应用计量经济学中的因果推断原理与 stata 实现。
我们将采取实例教学,让大家将所学技巧与科研过程中遇到的实际问题相结合,学了就能用!助您成为数据获得、数据分析、数据管理和数据展示的达人!
李老师:
擅长 python 编程、stata 编程,熟悉 python 与 arcgis 交互 ,具有丰富的程序设计经验,负责业界公司多个百万级爬虫项目,参与多个实证研究项目,完成过多项高难度爬虫任务,经验丰富。
和盈编程培训内容
第一部分、stata
stata 基础
stata 常用函数
stata 数据清洗、整理
stata 文本处理
stata 宏与循环
stata 读写网络数据
-抓取谷歌地图api获取经纬度信息、百度地图api
-抓取十八大以来落马官员的数据
-抓取和讯网上市公司社会责任报告数据
-学员意向网站爬取(选讲)
stata debugging
第二部分、python
对于高效完成大规模爬虫项目而言,python是比stata更为合适的编程语言。通过这部分的学习,你将了解到:python的安装和基础语法;如何解析纷繁复杂的各类静态、动态网站;如何利用多进程的优势爬取数据并与数据库交互;如何导入各类型本地数据,爬取网址对应所需数据,并保存为本地数据(stata dta 、csv 等);如何解决基本的反爬虫问题。学习python,也有利于你进一步学习对大数据进行数值运算,统计分析,机器学习。
anaconda 环境配置及ide安装
python 语法及数据结构入门
网页结构分析(html、css选择器、xpath定位)
网站协议,发送请求,解析网站
【实战】:静态网页爬虫
数据处理及存取(正则表达式、pandas)
python 与 mysql 数据库交互
反爬虫初探
【实战】:多进程爬虫
selenium 模拟浏览器爬虫
【实战】:动态网页爬虫
代码稳健、json 数据处理(选讲)
表单提交、网站登录及 cookie(选讲)
【实战】:学员意向网站爬取(选讲)
第三部分、arcgis
地图数据展示(基本画图展示)
地理信息数据管理、分析
python 与 arcgis 交互
利用 openstreetmapapi 获取全球任意地点新行政边界底图
已知地址获取经纬度、已知经纬度获取地址、交通路线查询等
第四部分、因果推断与stata实现
difference-in-difference
regression discontinuity design
其它事项
1、请学员自带笔记本电脑,我们将协助您提前安装好所需软件。
2、提供午餐盒饭,培训住宿安排。
3、本次培训限额人数40人,即日起开始正式接受报名和付费,先到先得,招满即止。
要不要学编程?什么时候学编程培训不算晚?
这是一个数字化的世界,在这个世界里,有计算机科学。人们阅读电子书而不是纸质书籍;课堂上使用的是数字显示屏而不是粉笔与黑板;人们的相机和汽车都已经数字化;孩子们刚学打字就知道如何使用拼写检查,刚学算术就可以使用excel,这些都是数字化工具,但我们仍要学习有关书写和计数的知识。人们能够熟练使用谷歌或facebook,但不知道谷歌搜索背后复杂的算法和fackbook是如何保护隐私的。
计算机和编程是数字世界的核心。信息科学开发出软件来让整个世界数字化成为可能。它是一种教育、一门科学和一门艺术——而不仅仅是赋予人们以工具和操作。人们一次又一次地将使用数字工具和编程相混淆,其实两者毫无关系。
所以,信息科学有必要进入课堂,与物理、化学和数学平起平坐。但它又有很强的技术属性,你必须学会自己编程、使用计算机来解决问题。这是必不可缺的一个方面。
教师简介:浙江大学 硕士 公司职务: web/java培训讲师; 开发经验: 4年以上; 培训经验: 4年(指专职讲师年限),加开发8年it行业经验; 技术专长: 精通html5、css3、javascript等,熟悉各行业web开发的特点、需求以及对应的业务;精通j2se,j2ee,jsp/servlet,struts,spring,oracle, php,从事过各类网站开发。
教师简介:李老师 兰州大学 本科 公司职务: python培训讲师; 开发经验: 4年以上; 培训经验: 2年(指专职讲师年限),加开发6年it行业经验; 技术专长: 多年软件开发经验和丰富的教学经验,精通python、php、objective-c、swift、mysql等编程语言,条理清晰,注重培养学生的学习能力。
教师简介:罗老师 江西师范大学 本科 公司职务: web/java培训讲师; 开发经验: 4年以上; 培训经验: 3年(指专职讲师年限),加开发7年it行业经验; 技术专长: 精通html5、css3、javascript等,熟悉各行业web开发的特点、需求以及对应的业务;精通java、j2se、j2ee、jsp/servlet、mysql、oracle、js、c、linux;熟悉android。
杭州市西湖区体育场路580号昆仑大厦3号楼