综 述 2019.8
电脑乐园
446
陈贤
上海电机学院 200240
摘要:《数据采集与网络爬虫》课程以数据采集与网络爬虫为主要授课内容,与实践紧密结合。本文通过对课程的知识体系和对学生能力要求的分析,设想了本课程师资队伍、教学方法、教学手段和考核方式的建设思路。使学生在学习过程中,既能完整掌握课程理论知识体系,又能将理论知识综合应用于具体数据采集与网络爬虫中去,为学生今后从事大数据工作奠定良好的基础。 关键词:知识体系;案例任务驱动;自主学习
1 课程体系和对学生能力要求
1.1课程简介
目前我校计算机应用技术(大数据方向)专业开设了《计算机
导论》、《Java 程序设计基础》、《计算机网络技术基础》、《Python 语
言基础》、《数据结构》、《数据库原理及应用》、《Linux 操作系统基
础》、《Hadoop 基础应用》等课程,根据人才培养方案,计划开设
一门对数据进行采集的课程----《数据采集与网络爬虫》,共计4
学分,64课时。该课程要求学生在Python 语言基础、数据库原理
及应用、Hadoop 基础应用等方面有一定的基础,所以《Python 语言
基础》、《数据库原理及应用》为《数据采集与网络爬虫》的先修课程。 本课程是计算机应用技术(大数据方向)专业主干课,达到能进行数据采集与网络爬虫是本课程对学生能力培养的要求,所以课程教学中应注重理论与实践紧密结合,在课程设置中,理论与实践的课时比例为1:1,实践教学采用实验与学生课下实践相结合的方式进行授课。 1.2知识体系 课程内容主要包括网络爬虫入门、编写一
个网络爬虫、静态网页抓取、动态网页抓取、解析网页、数据存储、提升爬虫的速度、反爬虫问题、解决中文乱码、登录与验证码处理、服务器采集、分布式爬虫等。其中静态网页抓取、动态网页抓取、解析网页、数据存储为课程的主体。 1.3 对学生能力要求 是为计算机应用技术(大数据方向)专业专科生新开设的一门专业必修课,是专业主干课。其任务是使学生在理论和实践上掌握数据采集与网络爬虫的基本概念、核心方法、技术与过程,明白其思想精髓。通过本课程的学习,使学生掌握爬虫的三个步骤:获取网页、解析网页和存储数据,并通过诸多案例练习,让学生从基础内容开始系统性地学习爬虫技术,通过多线程的并发和并行爬虫、分布式爬虫、更换IP等项目的训练,在实践中提升Python爬虫水平。 2 课程建设的意义和目标
2.1 课程建设的意义
随着互联网技术的飞速发展,以及国家产业信息化进程的大力
推进,在大数据时代背景下,产生了对基于Web网站的数据的大量
需求。快速、稳定、健壮、分布式的爬虫程序呼之欲出,业界对于
爬虫程序的开发人员需求很大,而此类人才在目前的人才市场上比
较稀缺,造成爬虫程序工程师等职位的需求缺口较大。本课程旨在
通过学习与实践培养学生的爬虫程序开发能力,为社会输送急需人
才。进行“数据采集与网络爬虫”的课程建设,对加强课程教学,
全面提升教学水平,提高计算机应用技术(大数据方向)专业的整
体教学质量,其意义重大。
2.2 课程建设目标
《数据采集与网络爬虫》课程建设的总目标是:建设一个完整
的数据采集与网络爬虫理论和实验的课程体系,具体建设内容包括
教学方法、教学大纲、CAI 课件、习题集及解答、实验指导书、电
子教案、试卷库等。
课程建设重点解决的问题是《数据采集与网络爬虫》授课对象
fm365需要较强的静态网页、动态网页、数据库与Phython编程技术基础,
是一门融合多门课程知识进行获取网页、解析网页和存储数据的综
合应用类课程,学生对于此类知识难于理解,缺乏对原理的深入掌
握。针对此类问题,本课程首先基于计算机应用技术专业大数据技
术方向人才培养目标及其人才培养规格,根据专业课程体系确定本
课程知识领域与范围,课程大纲明确定义课程应覆盖的知识点以及
应进行的能力与素质培养要求。其次通过采用 “可实践”的数据
采集与网路爬虫过程为主线进行理论教学和基于“项目驱动”的实
践进行能力训练,让学生在模拟真实项目的环境中,通过“做中学”
来消化和吸收Python爬虫的知识。提高用专业知识解决问题的能力
即数据采集与网路爬虫能力、提高综合素质并获得实践经验。为学
生今后从事大数据工作奠定良好的基础。
3 课程重点建设内容
3.1 师资队伍建设 逐步形成一支以主讲教授负责、结构合理教学水平高、教学效果好的教师梯队。建设一支思想素质过硬、业务能力强、职称学历结构合理、相对稳定的教师队伍是搞好课程建设的基础和保证,也是课程建设的关键。
3.2教学思想改革 首先课程建设的项目组成员要认真探索、研究我校计算机应用技术(大数据方向)专业的特点和数据采集与网路爬虫在专业中的定位和需求,以“服务专业、注重应用”的教学思想和原则在教学内容上进行改革,拓展教学内容和教学方法。认真进行基于“项目驱动+案例教学”教材选用和实验指导书的编写。在完成理论与实
践合一教材体系的前提下通过教学内容模块科学划分精心进行教学设计、制定教学大纲和授课计划、编写教案、制作课件、编写习题和实验等常规教学资料。其次要转变教学思想和教学观念,形成“以学为主,以教为辅”的教学思想。培养学生自主学习和动手能力的方法和习惯,培养学生养成不懂就查资料和文献的自主学习和研究性学习的习惯,培养独立思考及解决问题的能力。 3.3 教学方法和教学手段创新 为突出能力与素质培养,本课程将主要采用“做中学”教学模
式。
3.3.1教学方法和教学手段创新
教学方法主要采用案例任务驱动教学法;教学做一体化;教师
讲评法;“互联网+课堂”教学。
(1)案例任务驱动教学法
项目引领,任务驱动。首先教师给出项目目标的设计与实现,
使学生对即将展开的学习有大致的目标性了解。课程采用“任务驱
动”的教学单元设计,新的技能知识蕴含于新的任务中,任务的发
苏州娱乐场所整顿2019
布通常以贴近学生生活的“导入思考”的形式给出,来激发学生的
学生兴趣。 学完课程规定内容后,学生将通过自己的努力实现功
能较为完整Python 爬虫程序,在获得了对网页爬虫开发的整体流程
经验的同时,也会因为项目的完成获得“成就感”等良好的情感体
验。
(2)教学做一体化
课程中技能的讲授尽量避免艰涩的理论说教,采用“step by
step”实操图示向导指引和源代码示例,引导学生完成各个“任务”,
分形
教师“边做边教”,学生“在做中学”,便可完成“任务”,同时也
习得了新技能。
(3)教师讲评法
牛津小学英语5a教案注重自主学习、合作学习,兼顾学生的个性发展。授课过程中
2019.8 综 述
电脑乐园
447
应注重学生“终身学习能力”的培养和锻炼,项目中某些功能模块,其实现技术与小节中任务的实现技
术相似,以“课后练习”的形式给出,并有实现提示,要求学生根据已习得的知识和技能,并自行查参考资料来完成,在巩固课堂知识的同时,也锻炼了学生自学能力和自主解决问题的能力。
(4)“互联网+课堂”教学
通过网络课程延展教学空间与时间,引导学生查看网上相关的课程视频和案例。在授课过程中充分发挥网络课程的优势。
教学手段主要采用演示作品、老师操作、学生模仿、独立练习 (1)运用多媒体教学,更加生动易懂,激发学生的学习兴趣 课程组全体教师制作了一套多媒体教学课件,将知识以文字、图形、图片、动画的形式展现,使教学内容直观、易懂,又能提高学生的学习兴趣,激发学生的学习热情,提高教学的效果。还能作为学生课后复习的资料。
(2)利用网络平台,扩展学生学习空间,促进学生自主学习 数据采集与网络爬虫应用系统开发的实例,在网络上随处可见,教师有意识的引导学生浏览、运用这些网站,提高学生的学习能力。以成功的案例为学习目标,进行有意识的训练,引导学生在上网的过程中体会所学的知识,激发学生的学习激情,以成功的案例为实现的目标,进行有目的性的练习。同时还可以运用网络论坛与别人讨论学习中的问题、分享学习的乐趣。 4 考核方式
现有课程成绩评定方法为:平时成绩(20%)、期中测试(20%)、期末考试的60%。期末成绩所占比重太高,难以有效对学生的学习进程进行监控。 为体现对学生能力与素质的考核,课程成绩采用综合打分制,即:总成绩=素质行为表现(15%)+知识掌握(15%)+期末实操考核(%50)+任务作业(20%)。素质行为表现由主讲教师根据学生课堂出勤、学习态度及表现综合考核。知识掌握主讲教师根据学生课堂讨论、实验操作及报告等情况考核。期末实操考核由主讲教师对学生进行项目操作考核。任务作业为案例任务作业考核。
5 小结
随着移动互联网的飞速发展,信息的传输日益方便和快捷,大数据已被认为是继云计算、物联网之后的又一大颠覆性的技术性革命。毋庸置疑,大数据市场是座金矿,其价值不言而喻。《数据采集与网络爬虫》是一门在大数据专业中具有一定教学难度的专业综合课程,其教学质量的好坏直接关系到大数据专业学生的培养质量,因为要进行大数据处理,首先得获得大量数据,才能对大数据作进一步处理并为企业高层的决策提供有价值的参考数据。因此,这门课的课程建设是大数据专业建设的重点内容之一。
参考文献
[1]周晓清,李宏,叶安胜.任务驱动式项目案例教学法在课程教学改革中的探索与实践[J]. 实验科学与
服务质量分析技术.2018(16)
(上接第444页)
3.结论及建议
基于上述调研结果分析:网络暴力现象由多种因素促成。形成的原因可归纳为以下几点:
第一,网络因其匿名性和虚拟性的特点,在一定程度上淡化了网民的法律意识。网民在潜意识中认为不需要为自己在网络中的行为负责,进而做出一些在现实中违背道德甚至触碰法律底线的事情。
第二,网民年龄年轻化趋势以及从众心理的盛行容易导致网民情绪激化和盲目从众等行为,易出现言论过激、诽谤他人等恶性行为。
第三,某些媒体宣传网络消息时断章取义以博人眼球,人为地破坏了网络和谐环境。
最后,网络监督管理部门不力,缺乏相应的法律条款,对网络暴力等恶性行为缺乏有效约束。
对于如何规避网络暴力,基于本次调研结果拟提出以下建议: 首先,政府应树立正确的舆论导向意识,发挥自身宏观调控作用,努力搭建公共信息平台,优化信息发布的渠道,并建立完善的网络言论应急疏导机制,对于有可能形成网络暴力事件的言论进行及时有
效地干预,从而最大限度地防止网络暴力事件的发生。
其次,加快网络暴力立法建设的程序。通过对网络暴力进行法律上的明确界定, 以法律手段来约束网络暴力行为,从根源上遏制网络暴力,规范网络媒体行为。
最后,加大对民众的网络媒体素养教育力度,提升网民的思想道德和法律意识。针对不同体的网民进行有区别的教育引导。例如对于大学生而言,可在学校的常规教育中加入网络道德教育,培养学生正确使用网络及其网络道德,树立正确的价值观。引导大学生理性上网,从而减少网络暴力的发生。
参考文献
[1]林爱珺.网络暴力的伦理追问与秩序重建[J].暨南学报(哲学社会科学版),2017,39(04):111-117
[2]侯玉波,李昕琳.中国网民网络暴力的动机与影响因素分析[J].北京大学学报(哲学社会科学版),2017,54(01):101-107
[3]刘绩宏,柯惠新.道德心理的舆论张力:网络谣言向网络暴力的演化模式及其影响因素研究[J].国际新闻界,2018,40(07):37-61
[4]王位.网络暴力对大学生道德价值观的影响及引导策略[J].黑龙江生态工程职业学院学报,2019,32(03):94-98
(上接第445页)
仅仅局限于集中式管理模式,而要求网络管理工具具有分布式计算能力。近年来随着java、XML 及spring 等技术的发展与成熟,使人们对网络管理的分布式要求已成为现实。当前国产化网管平台的技术已经达到了较高的水准,其主要特征是:一是跨平台性:网管人员可以从任何平台的任何一台计算机终端上访问网管平台。二是分散性:具有地理位置无关性,适合于分布式部署。三是经济性:界面更加友好,管理方式更加简单方便,降低了网管成本。随着网管市场的发展,网管软件的应用日益细致,分工越来越明确,在“网管软件”的统称之下,各网管软件的侧重点各不相同。有的侧重于网络设备的管理;有的侧重于服务器的管理,还有可以对网络基础架构及其应用系统进行集中式管理的综合网管系统。
4.3计算机通信网络设备管理系统开发方法
maxthon3
计算机通信网络设备管理系统应安全可靠、扎根风险可控,采用Java 架构产品,从功能模块、数据库、界面全部基于统一Java 技术平台和统一数据关系模型,平台整体具有安全、机密的特性,能很好地满足国产化对于安全性和机密性的要求。计算机通信网络设备管理系统的开发模式和开发方法较多,可以采用目前较为主流的开发方法,并可以兼容国产的数据库系统。在计算机通信网络设
备管理系统中,应该具备通信网络设备的拓扑功能,能够对故障进行管理,对计算机通信网络设备进
行基本的配置和相应的高级配置,实现通信网络设备的智能化,满足客户的需求,这些都是计算机通信网络设备管理系统应该实现的基本目标。对于计算机通信网络设备管理系统中的资源管理,网络环境下资源的表示是网络管理的一个关键问题,目前一般采用“被管对象”来表示网络中的资源。对计算机通信网络中的各类设备资源进行统一有效的管理,可以采用统一的网络管理协议加以实现。
结语
信息技术的发展,使计算机网络通信系统的发展在各行各业得以推广,这也给人们的生活、工作带来极大的便利。不断扩增的计算机网络用户,会对计算机网络实施的可靠性提出新的发展要求。 参考文献
[1]张世云.提高计算机通信网络可靠性的分析与研究[J].浙江农业科学,2018(06):14-15.
[2]朱静,冉光圭.对计算机通信网络可靠性设计技术的研究[J].西部论坛,2019(11):12-13.