开发练手网站——查看豆瓣阅读状态
目前网址:http://18.220.245.109:8000/booksearch/
update 2018.1.23
说了很久重写,由于各种事情一直没有实施,这两天终于开了服务器,大致想了一下,感觉路漫漫。。。
大致计划是,先写后台,再写前端,再做丰富功能(数据分析),再做监控优化,如果自己能做好,这一块也算大致串起来了
下午想想上线还有好远,对不起各位的期待,于是把之前的代码补一补,挂到亚马逊aws上了,看到熟悉的界面竟然还有一丝丝成就感,各位先用着~
还是那句话,数据量大,反应慢,不要着急,不要反复刷新;如果数据有问题,尝试清除数据,还是不行请联系我~
对了,代码放到github上了,https://github.com/MianB1zhe/doubanState,感兴趣的可以交流下哈,一块开发第二版
看到上次更新竟是一年前了,一年间,也没做什么,再次祝大家新年快乐吧!
---------------------------------------------------------------------------------------------------------
网址:https://doubanstate-lzymbz.rhcloud.com/booksearch/(已废弃)
开发日志:
2016/5/31: v0.1 书籍统计功能完成,实现数量柱形图,标签文字云,图片墙功能
从周六到周二,从早到晚撸了四天代码,算是从零实现了网站雏形。四天吃了五顿饭。。。简直废寝忘食,爽!主要遇到挫折:static目录配置(默认目录不要改),wordcloud实现(使用wordcloud2.js),python list传递中文乱码(神奇的json.dumps(list).decode('unicode-escape')),图片只有一列(width、height设置与css加载),最后实现了简单的加载动画。
2016/6/1: v0.1.1 重大BUG修改,多数用户获取不到数据或是数据不全
第一天就有bug。。。有用户获取不到数据或者数据不全,而且都是只获取到后面几年,本地测试无任何问题,服务器端发现重启后能正常运行几个用户,再之后就不行,搞了一个中午,突然发现是全局变量count每次调用直接继续增加所致,但是本地就没问题,留待思考,修改后数据正常。
下午做实验回来准备删除掉为调试打印的信息,因为数据出现重复,drop掉整个数据库,然后,网站就挂了。。。莫名奇妙啊。。。本地完全正常啊 折腾半天发现数据库无法验证访问(访问数据库方式太尴尬),不知道原因,遂删掉网站重新部署了一个,其间心急,在ssh上稍微卡壳,最终顺利安装模块并运行。
晚8:30,准备出去吃饭,庆祝儿童节。。。
2016/06/03:v0.1.2 增加读书总价统计与站内读书量排行功能
增加了书籍总价功能,看了下两个读书较多的用户数据,统计了六个币种,强迫症。。。应该是比较全了,有什么问题掉请留言,不过总价数据人工也很难验证对错。。。
前面提到的排行榜功能,如果豆瓣全站排行,没有api,以我的速度得爬几十年吧。。。现在以访问本站的用户进行排行,暂且这样。
读书数据导出下一步就做。
下午更新:书籍记录导出功能已实现,导出格式为csv,(excel稍微麻烦,懒。。。)需要作图分析的可以自己另存一下。日期列可能显示###,列宽调大即正常。
界面越来越丑了,重点在于功能的实现,囧,我的审美已经被吐槽太多了。。。另外css的水平也是网上抄。。。以后慢慢改,大家先凑乎着用。
2016/06/03 :v0.1.5 增加用户自助数据刷新功能
晚上更新:刚才无聊刷新页面,突然出现错误,猜测到之前部分数据出现错误的原因可能是网页加载过程中用户停止或重新加载网页,导致数据库写入出现重复,因为统计所有书目耗时较长,请耐心等待,尽量不要手动刷新或停止加载。如果发现数据存在错误,页面上提供了一个清除用户数据的链接,点击可以清除用户数据,之后再重新加载应该会恢复正常。
2016/06/15 :
突然想起来,之前说要写电影统计的功能,一直没动,其实是因为豆瓣没有开放电影收藏的api,如果爬虫抓取的话量太大,很快就会被豆瓣封,目前没想到合适的方法,所以请见谅
2016/10/20:
豆瓣停止了http访问,更改为https
Note: 想写这个网站很久了,一直没发现怎么获取豆瓣读书数据,更主要是懒,这次因为readingstate挂了,搜到另一个类似网站也挂了,看到这么多人有需求,就自己写了一个(*^__^*) 。
选择了国外免费服务器,加之代码只追求功能没在意效率,访问比较慢。大家见谅。功能方面,就想起这三个,以后慢慢添加,刚开始学习,各方面都做的简单,大家有什么建议,界面、功能,欢迎留言,我逐步完善。
2016/12/24::
网站out of space,因为数据库磁盘空间满了,毕竟是免费空间,容量有限,手动删除了一部分数据,目前恢复正常。
很高兴看到有880位左右用户曾访问此网站,当时一时冲动,写了这个,简单粗暴,并不美观,后来也没再完善过,电影、博客的坑也没填,毕竟工作量大,尤其懒癌弃疗,今天圣诞前夜,虽然我不过节,但也算一年要结束了,看到网站坚持了6个月,竟然偶尔还有人在用,作为一个一直没有存在感的业余网管,还是小有成就感,哈哈哈哈,谢谢你们的访问和意见。
其实一直想把网站重写一遍,毕竟代码太渣,页面太丑,只是一直没把python、css当做重点,前段时间学了点C#,毕竟桌面端小软件平时用的更多,明年吧,或者用C#整个重写,或者还用python,把数据块那块规范化,把界面整理下,不能污了大家的眼睛(*^__^*)
新年快乐!
update 2018.1.23
说了很久重写,由于各种事情一直没有实施,这两天终于开了服务器,大致想了一下,感觉路漫漫。。。
大致计划是,先写后台,再写前端,再做丰富功能(数据分析),再做监控优化,如果自己能做好,这一块也算大致串起来了
下午想想上线还有好远,对不起各位的期待,于是把之前的代码补一补,挂到亚马逊aws上了,看到熟悉的界面竟然还有一丝丝成就感,各位先用着~
还是那句话,数据量大,反应慢,不要着急,不要反复刷新;如果数据有问题,尝试清除数据,还是不行请联系我~
对了,代码放到github上了,https://github.com/MianB1zhe/doubanState,感兴趣的可以交流下哈,一块开发第二版
看到上次更新竟是一年前了,一年间,也没做什么,再次祝大家新年快乐吧!
---------------------------------------------------------------------------------------------------------
网址:https://doubanstate-lzymbz.rhcloud.com/booksearch/(已废弃)
开发日志:
2016/5/31: v0.1 书籍统计功能完成,实现数量柱形图,标签文字云,图片墙功能
从周六到周二,从早到晚撸了四天代码,算是从零实现了网站雏形。四天吃了五顿饭。。。简直废寝忘食,爽!主要遇到挫折:static目录配置(默认目录不要改),wordcloud实现(使用wordcloud2.js),python list传递中文乱码(神奇的json.dumps(list).decode('unicode-escape')),图片只有一列(width、height设置与css加载),最后实现了简单的加载动画。
2016/6/1: v0.1.1 重大BUG修改,多数用户获取不到数据或是数据不全
第一天就有bug。。。有用户获取不到数据或者数据不全,而且都是只获取到后面几年,本地测试无任何问题,服务器端发现重启后能正常运行几个用户,再之后就不行,搞了一个中午,突然发现是全局变量count每次调用直接继续增加所致,但是本地就没问题,留待思考,修改后数据正常。
下午做实验回来准备删除掉为调试打印的信息,因为数据出现重复,drop掉整个数据库,然后,网站就挂了。。。莫名奇妙啊。。。本地完全正常啊 折腾半天发现数据库无法验证访问(访问数据库方式太尴尬),不知道原因,遂删掉网站重新部署了一个,其间心急,在ssh上稍微卡壳,最终顺利安装模块并运行。
晚8:30,准备出去吃饭,庆祝儿童节。。。
2016/06/03:v0.1.2 增加读书总价统计与站内读书量排行功能
增加了书籍总价功能,看了下两个读书较多的用户数据,统计了六个币种,强迫症。。。应该是比较全了,有什么问题掉请留言,不过总价数据人工也很难验证对错。。。
前面提到的排行榜功能,如果豆瓣全站排行,没有api,以我的速度得爬几十年吧。。。现在以访问本站的用户进行排行,暂且这样。
读书数据导出下一步就做。
下午更新:书籍记录导出功能已实现,导出格式为csv,(excel稍微麻烦,懒。。。)需要作图分析的可以自己另存一下。日期列可能显示###,列宽调大即正常。
界面越来越丑了,重点在于功能的实现,囧,我的审美已经被吐槽太多了。。。另外css的水平也是网上抄。。。以后慢慢改,大家先凑乎着用。
2016/06/03 :v0.1.5 增加用户自助数据刷新功能
晚上更新:刚才无聊刷新页面,突然出现错误,猜测到之前部分数据出现错误的原因可能是网页加载过程中用户停止或重新加载网页,导致数据库写入出现重复,因为统计所有书目耗时较长,请耐心等待,尽量不要手动刷新或停止加载。如果发现数据存在错误,页面上提供了一个清除用户数据的链接,点击可以清除用户数据,之后再重新加载应该会恢复正常。
2016/06/15 :
突然想起来,之前说要写电影统计的功能,一直没动,其实是因为豆瓣没有开放电影收藏的api,如果爬虫抓取的话量太大,很快就会被豆瓣封,目前没想到合适的方法,所以请见谅
2016/10/20:
豆瓣停止了http访问,更改为https
Note: 想写这个网站很久了,一直没发现怎么获取豆瓣读书数据,更主要是懒,这次因为readingstate挂了,搜到另一个类似网站也挂了,看到这么多人有需求,就自己写了一个(*^__^*) 。
选择了国外免费服务器,加之代码只追求功能没在意效率,访问比较慢。大家见谅。功能方面,就想起这三个,以后慢慢添加,刚开始学习,各方面都做的简单,大家有什么建议,界面、功能,欢迎留言,我逐步完善。
2016/12/24::
网站out of space,因为数据库磁盘空间满了,毕竟是免费空间,容量有限,手动删除了一部分数据,目前恢复正常。
很高兴看到有880位左右用户曾访问此网站,当时一时冲动,写了这个,简单粗暴,并不美观,后来也没再完善过,电影、博客的坑也没填,毕竟工作量大,尤其懒癌弃疗,今天圣诞前夜,虽然我不过节,但也算一年要结束了,看到网站坚持了6个月,竟然偶尔还有人在用,作为一个一直没有存在感的业余网管,还是小有成就感,哈哈哈哈,谢谢你们的访问和意见。
其实一直想把网站重写一遍,毕竟代码太渣,页面太丑,只是一直没把python、css当做重点,前段时间学了点C#,毕竟桌面端小软件平时用的更多,明年吧,或者用C#整个重写,或者还用python,把数据块那块规范化,把界面整理下,不能污了大家的眼睛(*^__^*)
新年快乐!