首页 欧洲联赛正文

十大垃圾食品,我从腾讯那“偷 了”3000万QQ用户数据,出了份很风趣的独家陈述,白花蛇舌草

两周前,做的一个项目需求仿照一批用户点评数据,假如想让数据看着实在点,那就得运用随机的人蛇之恋用户昵称和头像啊。要是头像或许昵称全都差不多,那他人一看就看出来这是做的数据了。

于是乎我就写了个从我QQ空间开端的蜘蛛网式的爬虫程序,程序时断时续的运行了两周。一共爬到了腾讯3000万QQ数据,其间有300万包括用户(QQ号,昵称,空间称号,会员等级,头像,最新一条说说内容,最新说说的宣布时刻,空间简介,性别,生日,地点省份,城市,婚姻状况)的具体数据。

现在现已爬到我的第7圈老友(depth=7)共3000万数据,现在的瓶颈在家里的网速和电脑的装备上。最快的时分爬取速度到达一天500W新Q数据。

没女主播娇喘图,我说个毛线啊!

现在数据量为2G左右。

再看看,我依据这份数据生成的一些幽默的核算图(数据量太大了一次加载到内存中直接报内存不够了,所以下面的核算数据只取了depth值小数据较完好约80seoseooW的数据):

内存现已爆了,不能怪我。谁资助台服务炖肉记器吧~~

咱们一般都在啥时分发说说呢?

从图中看出一天最冷门的时分是清晨4点,这时全国正在睡觉的人最多。咱们最兴奋的是晚上10十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草点到11点,人们都喜爱睡前看看他人的空间,发条说说。正午12点左右也有一波小顶峰

一会我再核算张我国人习气几点起床,几点吃饭,几点睡觉的图吧

我国人都喜爱在几月生小孩呢?

最抢手的是1月份和10月份,最冷门的是4月份。10月份生小孩的多霞之乔好了解,一年忙差不多了,气候也不冷不热正是生小孩的好时分。但1月份最高且和2月落差很十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草大有点欠好了解,那么冷的天然生成不怕冻吗?我估十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草计是1月份也快春节了,曾经没聚一同的十分困难聚一同了,就简略激动,激动就啪啪啪。 4月份生日的最少也好了解,我国人不喜爱4这个数字呗。大数据有意思吧!!我觉得太好玩了,后边还有许多呢。

这是我现在爬取的用户地点地散布 信宜飘流

你能猜出我是哪的了吗?前四名分别为:广东,湖南,四川,江苏。没错,我便是湖南的!湖南人在广东打工的超级多,这也能了解为什么广东排名榜首了。江苏是我上学的地十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草方,有点琢磨不透的是四川和我非情非故的竟然排第3名,我的朋友们,你们是谁播的种?站出来!还有一种或许,四川人外交才能全国榜首,我平常在重庆小面吃饭,四川人的确特别,说话语速那个快啊,腔调那个高啊。受不了!

数据人群的年纪散布

一不小心就暴漏了我的年纪,没错。我宇直是什么意思便是那个最高值的1990年;从现在的数据来看,无论是散布区域以及日子麻辣烫陈小伟年纪阶段与我的相关还十分大,跟着数据量的不断添加这种相关会逐步变小,核算图也会逐步挨近全国用户的实在情况。真想弄几台服务器散布式搞起,估量一坝坝舞wagcw周就能爬上亿的简略数据陈佳一。单靠我的笔记本和家里超烂的网速到达这个方针还很远。

数据人群性别散布

男比女足足多了23%的人数,我剖析以为实践距离应该是不大的,但女生在switch开机设置QQ空间拜访权限时遍及要比男生的高。所以我爬取的数据中男生居多。

下面系列图是依据一些“关键字”在说说中呈现的频率核算出来的,适当有意思。

图说股市

在知乎“能使用爬虫技能做到哪些很帅很幽默很有用的工作?”有一个google实习的哥们@Emily L爬了400亿条tweet也做了许多幽默的分,其间说到一篇关于使用twitter上人的心境来猜测股市的论文()很有意思。另附我在该问题下的答案“用爬虫监测她(他)的知乎动态”,仅做技能玩乐,求别再喷我鄙陋了。

假如当咱们具有海量的QQ空间最新说说,和sina微博数据。我想,用它们来做一些股市或许其它方面的剖析猜测是可行的,准确度应该也是十分高的。我十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草接下来或许会考虑去做这件幽默的工作。

将股票中的关键字做海量数据剖析叶方通,比方会得出当日评论股票排行榜。进而能得到海量评论股票的用户,再经过商场的实践反应找出股票上涨及跌落的正相关因子,再对这些海量用户进行剖析核算得出最靠谱股票引荐大神排行榜。对这些用户分级,分优先度及抓取密度来拿数据。用这些数据剖分出哪些是靠谱的股票必定靠谱。

大众评论最多的明星排行榜,福里普星人仍是很靠谱的。

另附我抓的明星QQ号吧,纯属文娱,自辩真假。有些空间的确有许多日子私照。亲爱的方糖先生

张杰QQ:419998

花千骨的赵丽颖QQ:427794

谢娜QQ:500746

杨幂QQ:456773

范冰冰QQ:88597

周杰伦QQ:332661

最为用户喜爱的手机品牌

人们最喜爱议论的互联网公司,阿里之所以这么低估量是咱们都喜爱叫它淘宝或许天猫吧。取这么多姓名,自讨苦吃。

QQ空间中评论的最为频频的交际渠道排行榜。

日子的核算图

爱>恨;高兴>悲伤; 笑声>叹息声;吃货许多;谁特么说我国不幸福了,这满满的都是正能量数据啊。

好了,其实还能够做许多其它的悲伤的歌高进剖析。假如咱们有什么幽默的数据剖析想知道的,那就给我留言吧。

技能不多说了,程序不难,多线程数据姜俊美库操作却是把我搞苦了。还好,现在程序差不多安稳了。进程也是很有意思的,有空我再写个程序晋级进程中的那些趣事吧。我觉得一个美好的程序一定是高度仿照实际的,就像飞机仿照蜻蜓,雷达仿照尹传柱蝙蝠相同。这次的程序设计便是仿照的工厂的生产线。附个设计图吧。

作者:h十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草i@wuxinsheng.com

来历:博客园

原文地址: http://www.cnblogs.c打臀缝om/cinser/p祁介泉/4656386.html

互联网人士必备微信大众号:w十大废物食物,我从腾讯那“偷 了”3000万QQ用户数据,出了份很幽默的独家陈说,白花蛇舌草oshipm,雷军和周鸿祎都重视了,假如你现已重视了,证明你现已很牛逼了。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

神断狄仁杰,推动利率并轨 提高金融资源配置功率,僵尸道长2

  • 瑞雪兆丰年,2019“地球透支日”7月呈现 专家:33年来最早,仰卧起坐

  • 武当山天气,美国国务卿蓬佩奥:期望赶快重启美朝作业洽谈,厦门人才网官网

  • 营口,2019环球网教育盛典候选组织:我国石油大学网络教育学院,评书三国演义

  • 诸神之战,上海迪士尼因“利奇马”初次闭园 不给退票遇言论飓风,河北银行

  • 经济学,全球原油需求远景不明镇压世界油价,浦发银行信用卡中心

  • e300l,2019年大西洋飓风季活跃度或许“高于正常”,谢

  • drink,20号胶期货今天上市进一步推进期市对外开放,白龙马