计算机毕业设计吊打导师hadoop+spark+hive知网文献数据分析可视化大屏 知网文献推荐系统 知网文献爬虫 知网大数据 知识图谱 机器学习 大数据毕设 深度学习

流程：

1.采集知网文献数据，同步存到mysql数据库和.csv文件，并将.csv上传hdfs文件系统；

2.使用hive建库建表导入hdfs中的.csv数据;

3.一半的指标使用hive_sql分析以后用sqoop导入mysql;一半的指标使用Spark的scala分析计算后插入mysql;

4.使用glask+echarts构建可视化大屏；

创新点：Python爬虫、可视化大屏、离线数仓hive+实时计算Spark双结合双实现防止导师喷人、使用vmvare虚拟机模拟大数据环境等

注意：如果还觉得系统Low可以选装推荐算法、预测算法、知识图谱、后台，具体实现界面如下(可以无缝0秒对接上我做了解耦合，项目可插拔可组装可拆分！！！！)：