川草乌
基于python的⽹络爬⾍开题报告_⽹络爬⾍开题报告.docx
天然气相对密度⽹络爬⾍开题报告
⽹络爬⾍开题报告
篇⼀：毕设开题报告 及开题报告分析 开题报告如何写 注意点 1.⼀、对指导教师下达的课题任务的学习与理解 这部分主要是阐述做本课题的重要意义 2.⼆、阅读⽂献资料进⾏调研的综述 这部分就是对课题相关的研究的综述 落脚于本课题解决了那些关键问题 3.三、根据任务书的任务及⽂件调研结果，初步拟定执⾏实施的⽅案(含具体进度计划) 这部分重点写具体实现的技术路线 ⽅案的具体实施⽅法和步骤了，具体进度计划只是附在后⾯的东西不是重点 南京邮电⼤学通达学院毕业设计(论⽂)开题报告 ⽂献[5] 基于信息数据分析的微博研究综述[J]；研究微博信息数据的分析，在这类研究中，⼤多数以微博消息传播的三⼤构件---微博消息、⽤户、⽤户关系为研究对象。以微博消息传播和微博成员组织为主要研究内容，⽬的在于发祥微博中⽤户、消息传博、热点话题、⽤户关系⽹络等的规律。基于微博信息数据分析的研究近年来在国内外都取得了很多成果，掌握了微博中的⼤量特征。该⽂献从微博消息传播三⼤构件的⾓度，对当前基于信息数据分析的微博研究进⾏系统梳理，提出微博信息传播三⼤构件的概念，归纳了此类研究的主要研究内容及⽅法。 对于⼤多⽤户提出的与主题或领域相关的查询需求，传统的通⽤搜索引擎往往不能提供令⼈满意的结果⽹页。为了克服通⽤搜索引擎的以上不⾜，提出了⾯向 任正非一江春水向东流>甾醇主题的聚焦爬⾍的研究。⽂献[6]综述了聚焦爬⾍技术的研究。其中介绍并分析了聚焦爬⾍中的关键技术：抓取⽬标定义与描述，⽹页分析算法和⽹页分析策略，并根据⽹络拓扑、⽹页数据内容、⽤户⾏为等⽅⾯将各种⽹页分析算法做了分类和⽐较。聚焦爬⾍能够克服通⽤爬⾍的不⾜之处。 ⽂献[7]⾸先介绍了⽹络爬⾍⼯作原理，传统⽹络爬⾍的实现过程，并对⽹络爬⾍中使⽤的关键技术进⾏了研究，包括⽹页搜索策略、URL去重算法、⽹页分析技术、更新策略等。然后针对微博的特点和Ajax技术的实现⽅法，指出传统⽹络爬⾍的不⾜，以及信息抓取的技术难点，深⼊分析了现有的基于Ajax的⽹络爬⾍的最新技术——通过模拟浏览器⾏为，触发JavaScript事件(如click, onmouseover等)，解析JavaScript脚本，动态更新⽹页DOM树，抽取⽹页中的有效信息。最后，详细论述了⾯向SNS⽹络爬⾍系统的设计⽅案，整(转载⾃：www.xiaocaOfaNW ⼩草 范 ⽂ ⽹:⽹络爬⾍开题报告)体构架，以及各功能模块的具体实现。 ⾯向微博的⽹络爬⾍系统的实现是以新浪微博作为抓取的⽬标⽹站。结合新浪微博⽹页的特点，通过模拟⽤户⾏为，解析JavaScript，建⽴DOM树来获取⽹页动态信息，并按照⼀定的规则提取出⽹页中的URL和有效信息，并将有效信息存⼊数据库。本系统成功的实现了基于Ajax技术的⽹页信息的提取。 ⽂献[8]引⼊⽹页页⾯分析技术和主题相关性分析技术，解决各⼤⽹站微博相继提供了抓取微博的API，这些API都有访问次数的限制，⽆法满⾜获取⼤量微博数据的要求，同时抓取的数据往往很杂乱的问题。展开基于主题的微博⽹页爬⾍的研究与设计。本⽂的主要⼯作有研究分析⽹页页⾯分析技术，根据微博页⾯特点选择微博页⾯信息获取⽅法；重点描述基于“剪枝”的⼴度优先搜索策略的思考以及设计的详细过 程，着重解决URL的去重、URL地址集合动态变化等问题；
陈家案研究分析短⽂本主题抽取技术以及多关键匹配技术，确定微博主题相关性分析的设计⽅案；最后设计 实现基于主题的微博⽹页爬⾍的原型系统，实时抓取和存储微博数据。本⽂研究的核⼼问题是，根据微博数据的特点设计⼀种基于“剪枝”的⼴度优先搜索策略，并 将其应⽤到微博爬⾍中；同时使⽤微博页⾯分析技术使得爬⾍不受微博平台API限制，从⽽让⽤户尽可能准确地抓取主题相关的微博数据。 通过多次反复实验获取原型系统实验结果，将实验结果同基于API微博爬⾍和基于⽹页微博爬⾍的抓取效果进⾏对⽐分析得出结论：本⽂提出的爬⾏策略能够抓取 主题相关的微博数据，虽然在效率上有所降低，但在抓取的微博数据具有较好的主题相关性。这实验结果证明本论⽂研究的实现⽅案是可⾏的。 ⽂献[9]阐述了基于ajax的web应⽤程序的爬⾍和⽤户界⾯状态改变的动态分析的过程和思路。⽂献[10]对于全球社交⽹络Twitter，设计并实现了，⼀个爬⾍系统，从另⼀个⾓度阐明了Python在编写爬⾍这个⽅⾯的强⼤和快速。仅仅⽤少量的代码就能实现爬⾍系统，并且再强⼤的社交⽹站也可以利篇⼆：毕业论⽂,⽹络爬⾍在信息获取领域的应⽤户 题 ⽬ ⽹络爬⾍技术在信息获取领域的应⽤ 专 业 学⽣姓名 班级学号 指导教师 指导单位 摘 要 现在，⼤多数⼈们获取信息的途径已经不再是报纸和电视，⽽是互联⽹，⼀个曾被⼈们所漠视的领域米尼兹
