[mongo] 運行數據

[Willian-Zhang]

• 從 Web 抓取 3 層
• 從 DB 中抓取 3 層 （帶更新校驗）
• 從 DB 中展示 3 層

[Willian-Zhang]

從 DB 中抓取 3 層 （帶更新校驗）

> db.users.find({followers:{ $exists: true }}).count()+" / "+ db.users.find().count()
2162 / 274732

capture ended with last level counting: 437509
fetch: 335150ms

statistics

(running) last level efficiency :1,305.4 user/sec
last level expansion rate: 127.1 /user
last level duplicity: 1.59 (1 for none)

after commit

Willian-Zhang@fb630af

[Willian-Zhang]

從 DB 中抓取 3 層 （帶更新校驗）

> db.users.find({followers:{ $exists: true }}).count()+" / "+ db.users.find().count()
2162 / 274732

capture ended with last level counting: 437509
fetch: 245038ms (4mins 5secs)

statistics

(running) last level efficiency :1,785.47 user/sec
last level expansion rate: 127.1 /user
last level duplicity: 1.59 (1 for none)

after commit

Willian-Zhang@71cf0e3

[starkwang]

我感觉现在xxx.config.js有三个了略多，能不能合并成同一个js文件？

以及看了看你写的mongo的feature，写得很不错啊0.0

mongo是可选的还是必需的？我感觉做成可选的比较好，因为现在还基本是同一台机器上运行这个爬虫的服务器端和浏览器端，等将来把浏览器端分离出去之后再把mongo做成必需的比较好。

[Willian-Zhang]

写得很不错啊0.0

0.0

0.0

0.0

[Willian-Zhang]

mongo是可选的还是必需的？我感觉做成可选的比较好，因为现在还基本是同一台机器上运行这个爬虫的服务器端和浏览器端，等将来把浏览器端分离出去之后再把mongo做成必需的比较好。

mongo 是必須的，原因是內存不足可能導致運行失敗，多次運行需要儲存數據。
以及沒有測試過，有了mongo 應該會很大程度上提高效率。