请选择 进入手机版 | 继续访问电脑版

网络科技

    今日:136| 主题:285241
收藏本版
互联网、科技极客的综合动态。

[其他] 支持万亿量级记录实时处理的分布式数据库

[复制链接]
不要給姐裝蒜 发表于 2016-10-6 11:47:07
435 14
Tera - An Internet-Scale Database

   
  Copyright 2015, Baidu, Inc.
  Tera is a structured distributed database which is designed to manage trillions of links and webpages. Besides Webpage Database, Tera is used by many other Baidu products, including Baidu Trace System, Baidu User Behavior Analysis System, etc. Tera provides high performance and high scalability by taking fully advantage of new generation hardware.
  Features

  
       
  • Automatic and configurable sharding   
  • Ranged and hashed sharding strategies   
  • Strong consistency   
  • Online schema change   
  • Snapshot   
  • Multi-level cache and Bloom Filters to suport real-time queries  
  Contact Us

  {dist-lab, tera_dev, opensearch} at baidu.com
   高性能、可伸缩的结构化数据库

  Tera是一个高性能、可伸缩的结构化数据存储系统,被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问,我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据,使用多级Cache系统,充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势,做到模型灵活的同时,实现了高吞吐与水平扩展。
  特性

  
       
  • 全局有序   
  • 热点自动分片   
  • 数据强一致   
  • 多版本,自动垃圾收集   
  • 按列存储,支持内存表   
  • 动态schema   
  • 支持表格快照   
  • 高效随机读写  
  数据模型

  Tera使用了bigtable的数据模型,可以将一张表格理解为这样一种数据结构:
  1. map<RowKey, map<ColummnFamily:Qualifier, map<Timestamp, Value> > >
复制代码
其中RowKey、ColumnFamily、Qualifier和Value是字符串,Timestamp是一个64位整形。ColumnFamliy需要建表时指定,是访问控制、版本保留等策略的基本单位。
  系统架构

  系统主要由Tabletserver、Master和ClientSDK三部分构成。其中Tabletserver是核心服务器,承载着所有的数据管理与访问;Master是系统的仲裁者,负责表格的创建、schema更新与负载均衡;ClientSDK包含供管理员使用的命令行工具teracli和给用户使用的SDK。 表格被按RowKey全局排序,并横向切分成多个Tablet,每个Tablet负责服务RowKey的一个区间,表格又被纵向且分为多个LocalityGroup,一个Tablet的多个Localitygroup在物理上单独存储,可以选择不同的存储介质,以优化访问效率。
   

支持万亿量级记录实时处理的分布式数据库

支持万亿量级记录实时处理的分布式数据库-1-网络科技-generation,structured,Copyright,including,advantage

  系统依赖

  
       
  • 使用分布式文件系统(BFS、HDFS等)持久化数据与元信息   
  • 使用分布式协调服务(Nexus或者Zookeeper)选主与协调   
  • 使用Sofa-pbrpc实现跨进程通信  
  系统构建

  sh ./build.sh
   参考BUILD
  使用示例

   体验单机Tera
   通过docker体验Tera
   主要api使用方法
   客户端teracli使用方法
   其它文档
  反馈与技术支持

  tera_dev At baidu doT com
  成为贡献者

   完成5个小任务,帮你一步步成为tera贡献者.
  欢迎加入

  如果你热爱开源,热爱分布式技术,请将简历发送至: {dist-lab, tera_dev, opensearch} at baidu.com
2210707901 发表于 2016-10-6 15:03:55
来,来,干了这杯翔!
回复 支持 反对

使用道具 举报

小辉煌 发表于 2016-10-6 15:18:19
不错哦,不要給姐裝蒜这是要火的节奏啊!
回复 支持 反对

使用道具 举报

我叫阿里 发表于 2016-10-6 15:18:22
我是耶稣他儿子,椰子!
回复 支持 反对

使用道具 举报

lujun 发表于 2016-10-6 15:50:48
做为一名新人,不敢在大声说话,也不敢得罪人,只能默默地顶完贴然后转身就走人。动作要快,姿势要帅,深藏功与名。
回复 支持 反对

使用道具 举报

刘小东 发表于 2016-10-7 12:58:36
你女儿在我手上,我不是你女婿。
回复 支持 反对

使用道具 举报

石鳞 发表于 2016-10-11 02:25:50
给不要給姐裝蒜一个赞
回复 支持 反对

使用道具 举报

侯鹏 发表于 2016-10-13 09:00:59
路过。。。。
回复 支持 反对

使用道具 举报

杜里红 发表于 2016-10-15 14:56:03
一天最高可刷99点经验的。把如下语句复制,粘帖即可。以前不懂看贴总是不回,一直没提升等级和增加经验现在我明白了反正回贴可以升级也可以赚经验而升级又需要经验我就把这句话复制下来
回复 支持 反对

使用道具 举报

都市达人 发表于 2016-10-18 20:44:00
顶起顶起顶起
回复 支持 反对

使用道具 举报

我要投稿

推荐阅读


回页顶回复上一篇下一篇回列表
手机版/c.CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 | 粤公网安备 44010402000842号 )

© 2001-2017 Comsenz Inc.

返回顶部 返回列表