Skip to content

AI编程自学网

ai2opencode您的编程助手

Menu
  • 网站首页
  • WordPress专栏
  • 程序员内功
  • 副业和涨工资
  • Windows11
Menu

如何建立自己的谷歌和百度

Posted on 2021年8月2日 by ai2opencode

谷歌是我最好的朋友也是我最大的敌人

众所周知,谷歌是世界上最大的公司之一。Google 从 1998 年的一家小型初创公司发展而来。如今,Google 通过 Google 搜索、YouTube、Gmail 和其他 Google 拥有的产品和服务获得了数十亿用户。
分享是我的热情所在,今天我很高兴能分享我对 Google 如何构建这些大型系统的了解。

规模的艺术

谷歌的故事是一个扩大规模的故事 。目前谷歌有超过 800,000 台机器。2017 年,Google 索引了 130 万亿个网页,每天处理超过 1 亿次搜索请求和 20 PB (¹⁰¹⁵ B) 的用户生成数据。到现在,谁知道呢?

是什么让谷歌如此规模?

谷歌使用什么技术栈?

谷歌的技术栈

Google 使用许多反向代理将任何客户端请求定向到后端的相应服务器。
所有图像缩略图缓存文件、大量媒体和昂贵的常见查询都被缓存,因为它们需要大量的后端处理。
大小很重要

创建的 Google 数据中心

谷歌在世界各地拥有和运营数据中心,以确保其产品每周 7 天、每天 24 小时不间断运行。最后估计共有 36 个数据中心——美国 19 个,欧洲 12 个,亚洲 3 个,俄罗斯和南美各 1 个。未来的数据中心站点可能包括马来西亚、立陶宛和南卡罗来纳州的布莱斯伍德,据报道谷歌在那里购买了 466 英亩的土地¹。

服务器如何存储在数据中心?

服务器放置在装运容器的机架中。每个运输集装箱最多可容纳 1,160 台服务器。一个数据中心将由 100 个模块化单元组成。

操作系统实现

Google 从 1998 年开始使用 100% 定制的 RedHat Linux。Google 定制了 glib、rpc、ipvs、gPXE 引导加载程序等。

秘制酱料……

Google 软件的三个核心要素是:GFS、Google 文件系统、BigTable 和 MapReduce 算法。
谷歌文件系统——GFS II。它是一个可扩展的分布式文件系统,适用于大型分布式数据密集型应用程序,在廉价的商品硬件上运行时提供容错能力。GFS 跨多台服务器存储数据,几乎在所有机器上运行。

  • GFS 架构中存在三种实体:客户端、主服务器和块服务器。由多个客户端访问的单个主服务器和多个块服务器²。
  • GDS 还依赖于 CAP 定理,即分布式数据库系统只能具有 3 个中的 2 个:一致性、可用性和分区容忍度³。
  • GFS II 架构
  • Google 数据库 — BigTable⁴。为了为所有这些数据提供某种结构,Google 使用了 BigTable,- - Google 于 2004 年开始设计该表格,该表格已用于 70 多个 Google 项目,包括 Google 地图、Google 地球、Blogger、Google Print、Orkut 和核心搜索索引。

BigTable — Google 数据库

谷歌计算——MapReduce⁵。它为公司提供了一种方法,可以利用其数据实际制作一些有用的东西。例如,MapReduce 可以找到特定单词在 Google 搜索索引中出现的次数;出现单词的网页列表;以及链接到特定网站的所有网站的列表。

建立自己的谷歌

您可以使用与 Google 技术堆栈相匹配的开源来构建自己的 Google。

使用开源构建您自己的 Google
我们从哪里得到它们?

  • CentOS:https : //www.centos.org
  • HDFS:https : //hadoop.apache.org/hdfs/
    HDFS 是一个文件系统,它扩展到一组商用机器而不是单个高端机器。HDFS 是一个分布式的大规模存储组件,具有高度的可扩展性。另外,HDFS 可以接受节点故障而不会丢失数据,并且以其可靠性而广为人知。
  • HBase:https : //hbase.apache.org
  • Hadoop、MapReduce 和作业跟踪器:https : //hadoop.apache.org
    如今,Hadoop 如此受欢迎,它提供了以下特性:可扩展、容错、灵活且经济高效。
    如果您按照我的建议使用技术堆栈,也许我们可以实现。

Related posts:

  1. WordPress部署之将 RDS 与 WordPress 连接
  2. WordPress部署之使用 Google Cloud 免费托管 WordPress
  3. WordPress专栏之如何在 WordPress 中创建自动更新的备忘单
  4. 使用简单的 Google 搜索生成更多内容创意之 01 什么是谷歌自动完成

发表回复 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

工具区

繁体中文

近期文章

  • Windows11教程大全之Windows 11到底是什么
  • Windows 11 的第一个大更新来了:2022年新增6大新功能
  • Chrome 控制台实用程序开发 之 09 monitor(function) 监视窗口对象上的所有调整大小事件
  • Chrome 控制台实用程序开发 之 08 keys(object) 监视窗口对象上的所有调整大小事件
  • Chrome 控制台实用程序开发 之 07 keys(object) 获取数组key值

近期评论

  1. J1o! - V2EX-Flutter 您应该选择哪个 IDE/编辑器?(Android Studio VS Code Intellij IDEA)发表在Flutter 您应该选择哪个IDE/编辑器?(Android Studio VS Code Intellij IDEA)
  2. 编程书籍推荐之《Think Like a Programmer: An Introduction to Creative Problem Solvin》 - AI编程自学网发表在如何解决任何编程问题

    推荐文章

    1. WordPress部署之将 RDS 与 WordPress 连接
    2. WordPress部署之使用 Google Cloud 免费托管 WordPress
    3. WordPress专栏之如何在 WordPress 中创建自动更新的备忘单
    4. 使用简单的 Google 搜索生成更多内容创意之 01 什么是谷歌自动完成
    • 0经验开发
    • Access
    • adsense
    • Android
    • App开发赚钱
    • AWS云计算
    • Chrome
    • Chrome 控制台实用程序开发
    • CSS
    • CSS 基础教程
    • Flutter
    • Flutter基础
    • Flutter杂谈
    • HarmonyOS 鸿蒙
    • HarmonyOS基础
    • HTML
    • HTML基础
    • HTML技巧
    • JavaScript
    • JavaScript 基础
    • JavaScript 技巧
    • JavaScript 简介
    • JavaScript问答
    • oracle
    • oracle
    • pandas教程
    • PHP
    • PHP 杂谈
    • Python
    • Python实战
    • Python技巧
    • Python杂谈
    • SEO 技巧
    • Tiktok抖音小程序
    • UI设计
    • Web编程
    • Windows11
    • WordPress
    • WordPress 部署云主机VPS
    • WordPress 问答
    • WordPress 问答已解决
    • WordPress 问答未解决
    • WordPress使用技巧
    • WordPress插件
    • WordPress杂谈
    • WordPress盈利
    • Wordpress配置
    • WorPress建站技巧
    • 云服务推广
    • 云计算
    • 人工智能与机器学习
    • 低代码与无代码
    • 信息论基础
    • 元宇宙
    • 副业和涨工资
    • 副业技巧
    • 在线课程
    • 学习编程技巧
    • 小程序
    • 建站指南
    • 微服务架构
    • 微软
    • 思想类
    • 技术文章技巧
    • 技术潮流
    • 技能考试
    • 抖音小程序
    • 教育信息化
    • 数据库
    • 未分类
    • 程序员内功
    • 程序员装备
    • 经典书籍学习
    • 编程书籍推荐
    • 编程书籍推荐
    • 编程人生
    • 编程历史
    • 编程市场研究
    • 编程思想
    • 编程意义
    • 编程组件
    • 编程能力提高
    • 编程语言
    • 编程面试与工作
    • 腾讯云
    • 视频博主
    • 计算机科学中的数学
    • 读书笔记
    • 软件估价
    • 软考
    • 通识知识
    • 销售 API
    • 阿里云
    • 高级信息系统项目管理师
    • 高级系统架构设计师

    Discord JavaScript SpringBoot windows11 元宇宙 微服务 程序员内功 计算机视觉 问题未解决

    登录
    © 2022 AI编程自学网 | Powered by Minimalist Blog WordPress Theme