當前位置：首頁 >> 互聯網 >> 2006年11月6日
"Times New Roman", Times, serif; align="center">Craigslist 數據庫架構
"Times New Roman", Times, serif; align="center">Craigslist 數據庫架構推薦者：草根幫主 (積分 142071) | 原作者：
Craigslist 絕對 互聯網 一個傳奇公司. 根據以前 一則報道：
每月超過 1000 萬人使用該站服務, 月瀏覽量超過 30 億次, (Craigslist每月新增 帖子近 10 億條??)網站 網頁數量在以每年近百倍 速度增長. Craigslist 至今卻只有 18 名員工(現在可能會多一些了).
Tim O'reilly 采訪了 Craigslist Eric Scheide , 于 通過這篇 Database War Stories #5: craigslist 我們能了解一下 Craigslist 數據庫架構以及數據量信息.
數據庫軟件使用 MySQL . 充分發揮 MySQL 能力, 數據庫都使用 64 位 Linux 服務器, 14 塊 本地磁盤(72*14=1T ?), 16G 內存.
不同 服務使用不同方式 數據庫集群.
論壇
1 主(master) 1 從(slave). Slave 大多用于備份. myIsam 表. 索引達到 17G. 大 表接近 4200 萬行.
分類信息
1 主 12 從. Slave 各有個 用途. 當前數據包括索引有 114 G , 大表有 5600 萬行(該表數據會定期歸檔). 使用 myIsam. 分類信息量有多大? "Craigslist每月新增 帖子近 10 億條", 這句話似乎似乎有些夸張, Eric Scheide 說昨日就超過 330000 條數據, 如果這樣估計 話, 每個月 新帖子信息大約在 1 億多一些.
歸檔數據庫
1 主 1 從. 放置所有超過 3 個月 帖子. 與分類信息庫結構相似但 更大, 數據有 238G, 大表有 9600 萬行. 大量使用 Merge 表, 便于管理.
搜索數據庫
4 個 集群用了 16 臺服務器. 活動 帖子根據 地區/種類劃分, 并使用 myIsam 全文索引, 每個只包含一個子集數據. 該索引方案目前還能撐住, 未來幾年恐怕就不成了.
Authdb
1 主 1 從, 很小.
目前 Craigslist 在 Alexa 上 排名 30, 上面 數據只 反映采訪當時(April 28, 2006) 情況, 畢竟, Craigslist 數據量還在每年 200% 速度增長.
Craigslist 采用 數據解決方案從軟硬件上來看還 低成本 . 優秀 MySQL 數據庫管理員對于 Web 2.0 項目 一個關鍵因素.
[ 關鍵詞：Craigslist 數據 原文/來源鏈接 ]每月超過 1000 萬人使用該站服務,
月瀏覽量超過 30 億次, (Craigslist每月新增 帖子近 10 億條??)網站 網頁數量在以每年近百倍 速度增長. Craigslist 至今卻只有 18 名員工(現在可能會多一些了).
Tim O'reilly 采訪了 Craigslist Eric Scheide ,
于 通過這篇 Database War Stories #5: craigslist 我們能了解一下 Craigslist 數據庫架構以及數據量信息.
數據庫軟件使用 MySQL . 充分發揮 MySQL 能力,
數據庫都使用 64 位 Linux 服務器, 14 塊 本地磁盤(72*14=1T ?), 16G 內存.
不同 服務使用不同方式 數據庫集群.
論壇
1 主(master) 1 從(slave). Slave 大多用于備份. myIsam 表. 索引達到 17G. 大 表接近 4200 萬行.
分類信息
1 主 12 從. Slave 各有個 用途. 當前數據包括索引有 114 G ,
大表有 5600 萬行(該表數據會定期歸檔). 使用 myIsam. 分類信息量有多大? "Craigslist每月新增 帖子近 10 億條", 這句話似乎似乎有些夸張, Eric Scheide 說昨日就超過 330000 條數據, 如果這樣估計 話, 每個月 新帖子信息大約在 1 億多一些.
歸檔數據庫
1 主 1 從. 放置所有超過 3 個月 帖子. 與分類信息庫結構相似但 更大,
數據有 238G, 大表有 9600 萬行. 大量使用 Merge 表, 便于管理.
搜索數據庫
4 個 集群用了 16 臺服務器. 活動 帖子根據 地區/種類劃分,
并使用 myIsam 全文索引, 每個只包含一個子集數據. 該索引方案目前還能撐住, 未來幾年恐怕就不成了.
Authdb
1 主 1 從,
很小.
目前 Craigslist 在 Alexa 上 排名 30,
上面 數據只 反映采訪當時(April 28, 2006) 情況, 畢竟, Craigslist 數據量還在每年 200% 速度增長.
Craigslist 采用 數據解決方案從軟硬件上來看還 低成本 . 優秀 MySQL 數據庫管理員對于 Web 2.0 項目 一個關鍵因素.
|
|
| [收藏至站內網摘] [ 'del','scrollbars=no,width=475,height=575,left=75,top=20,status=no,resizable=yes'));del.focus();">Del.icio.us收藏] [%22_blank%22,%22scrollbars=no,width=600,height=450,left=75,top=20,status=no,resizable=yes%22); void 0">百度搜藏] [抓蝦 訂閱] [鮮果 訂閱] |
頂一個呀.0253107