link appraisement
肖 强 张卓 徐文亭
青岛市科学技术信息研究院
图1 平台功能设置图炼钢脱氧剂
图2 平台逻辑架构图
改进的智库平台实现了网络信息的实时抓取,数据分析统计,全文检索等功能对抓取的大数据进行分布式存储。用户可以通过网络爬虫设定功能来设定要抓取的网站列表和关键性词汇。通过查询数据统计,利用各种图表,直观显示数据信息,提高研究效率。在系统上线后,网络爬虫通过训练学习期,来提高抓取的效率和准确度。 钓鱼岛事件分析系统功能实现
通过改进的网络爬虫程序,智库平台管理人员只需要配置一些简单的种子、节点,就可以将某一站点的文章收录到本地数据库和硬盘中。石家庄平安口腔学校
(1)种子网站设置
图4 信息发布设置
2、可扩展性:系统的设计不仅要满足智库平台目前数
47vcd据采集的需要,还要充分考虑今后平台功能扩展与用户量增
加的实际情况。当平台应用功能需要增加,科研数据总量急
剧增加或用户量不断增加时,平台逻辑架构无需调整,根据
需求在原有基础上增加相应的功能模块即可。
asmuchas>知网首页
3、实用性:科技智库公共服务平台应当从业务管理专业
角度满足用户对数据时效性的要求。平台要充分考虑用户的行
为习惯,尽可能让用户界面友好且操作简单方便,满足各类别、
各层次用户的实际需要。同时数据处理工作简单、方便、快捷;图3 网络爬虫种子设置