当Huolala面对AI的转换时，如何进行大数据？

如果每月有1000万活跃用户的应用程序面对AI的转换，那么您的数据存储应该如何？ Huolala是2013年大湾地区建立的负载物流的应用，在整个行业中积累了中等大小的40pb+数据。 Huolala的大数据专家张Xiao说：“现在，我们的数据量正在迅速增长，每年都有一些PBS增长。”如此大的数据需要稳定，安全并且可以提高识字能力的数据存储功能。张肖说：“自建造的稳定性甚至比云的稳定性还要糟糕。” “从本质上讲，他们的数据中有99％存储在云中，但也具有一些自给自足云服务的混合服务体系结构系统的自我建构的基础架构。”随着混合体系结构增加管理的困难，找到适合我们业务的云更为重要。一年多以前，Huolala进行了巨大的在40pb+数据云中迁移，是腾讯云的最终目的地。用Zhang Xiao的话来说，这种过渡是“在飞机工作时更改引擎”，但最终结果是好的，0完成了40pb+大数据基础架构的重定位。 Tencent云数据数据平台经过一年的数据迁移，取决于数据平台解决方案，Huolala比计划提前40分钟获得了加载报告，使任务提高了10％。这不能从腾讯云数据平台与两个旗舰产品分开。 cos对象和元数据加速器的存储。随着AI大型模型时代的出现，Huolala积极采用AI，但面临着新的挑战。经常访问IA的G模型所需的大数据，这减慢了一般数据访问。因此，在伟大的AI模型时代，Huolala应该如何面对大型爆炸性增长的挑战？对于所有公司来说，这也是一个普遍的问题那面对AI的转换。云中的40pb+数据迁移是由飞机交换12年的累积数据驱动的。 Huolala同时将所有内容迁移到云存储系统腾腾的架构中。如此大的数据迁移非常困难。众所周知，在该行业中，公司积累的大量数据是尚未提取的“金矿”。数据不仅应该存储，而且更重要的是有助于真正行使数据值。但是，在数据使用过程中，一方面，存在一些情况，例如数据差异不正确，强迫数据和实验室灾难造成计算，从而导致中央数据的丢失。同时，非结构化和非结构化，大型且不断增加的数据（例如视频和照片）也随着传统存储架构的存储成本的增加而减慢，这些架构的存储成本增加很难满足公司的真实时间呼叫的需求。实际上，当前的Huolala商业规模已达到超过1亿个文件。在此规模上，数据存储必须保证数据的可靠性并满足支持损失的需求。您还必须实现高可用的服务，以完成没有损坏的任务。为了解决这些问题，Huolala与自动固化 +混合云服务形成了大数据存储架构。在该大数据存储体系结构中，根据该层收集数据后，用户访问Layaryans是在在线存储中写的，或者在不同的时间效率要求之后通过批处理处理和流程处理提供了服务的使用。其中，批量计算主要是在存储系统中永久存储的处理数据，而流量计算过程是实时生成的数据。张Xiao说：“我们将在腾讯云中实施批处理处理，而其他部门则在其他云中。”此外，应对P的问题Huolalla在恢复数据灾难的恢复中的核数据丢失，有两个系统创建了一个数据灾难恢复体系结构。一个是Yuchu-Metadata管理平台，它使您可以通过在7天内保护几个意外删除的Datante快速恢复数据。另一个是一个自主灾难恢复系统柯克（Kirk），它可以在PB级别实现数据勒索软件和计算机实验室灾难的数据灾难恢复，并实现完全链接灾难的恢复。根据这两个系统的能力，Huolala可以在中央数据中100％撤回数据错误和100％的灾难恢复。 “在与腾讯云的 - 深入合作中，我们最终决定将完整的40pb+比例数据迁移到腾讯云。”张小说：“腾讯云数据平台的解决方案可以提供多种特征和服务，但主要使用元的基础存储和加速度功能在这个阶段的数据。连续而成功地将整个链接在同一天执行后，您可以再次比较数据的准确性，以确保所有系统中的所有系统都迁移了一年以上的迁移。 Ofdata爆炸AI时代？公司面临AI业务的转变，对数据提出了许多新需求。在过去的两年中，Huolala实施了许多AI的新商业领域。张Xiao说：“我们的AI业务目前主要拥有CATBI客户服务和其他相关服务。它包括内容。我们目前正在与AI的Tencent合作。”当IA应用程序进行培训时，数据调用需要高性能和低延迟。这带来了将AI数据与大型传统数据相结合的新问题。张Xiao说：“我们所有的数据都在腾讯中。目前，有几个模型培训任务不断填补整个立方体降落链接的带宽。这对整个链接离线的稳定性产生了很大的影响。”虽然来自公司公司的存储计算Big传统业务数据需要高稳定性，但AI大型型号的培训需要高性能和高带宽。这两个数据商店必须采用Advan他人的舞会。解决。 “张肖说，根据云时态cos中的对象的存储，即Cos Bucket 1和Cos Cublet 1：Cos Cos Bucbet 1专用于大数据存储，其上层承认了与大数据市场相关的整个业务。根据应用程序，桶仅迁移8％。”带宽的产量远大于大数据需求。将来，AI的服务将逐渐以这种方式迁移，然后将进行特殊的优化。 "The establishment of two cubes in the storage of the underlying COS has facilitated the pressureOn bandwidth demand during the use of data from Big Data and AI Big Model, but the Big Model data storage basco faces the need for very high bandwidth performance in response to this problem. Huolala admits data Clouse Clouse Clouse Clouse Clouse Clouse clouse clouse clouse clouse I Close Clouse Clouse Clouse Clouse Clouse ClouseClouse Clouse Clouse Clouse Clouse Clouse Clouse Clouse Cloud基于腾讯云。与该行业的10兆位元素元数据加速能力相比，TBPS水平的产量，单个元数据的100亿尺度和速度很容易达到。 “张小已经公开认可。最后，为了应对十字云的问题，张肖说，基于COS模式的培训可以根据要求实现配置。”我们可以看到，COS可以为Huolala提供商店合并的40pb+数据，提供安全稳定的数据存储功能，同时改善系统可用性和其他降低性能。 AI应用程序业务有助于免费提供公司的数据。其他是数据处理引擎。计算成为存储端，在例如Xiaohongsu用户加载图像时提供了许多标准化的照片。层压缩图像并通过图像以提高访问图像的性能并保护智力如果图像质量未损坏，则财产权。 Methodsight通过智能搜索功能为客户提供有效的数据管理服务。这使用户可以快速恢复自然语言中大量的非结构化数据（照片，音频，视频等）。例如，根据他们寻找照片的那一刻，“在线光盘和手机相册”的“ busit保留”允许用户一一找到照片。现在，您可以输入关键字来指导功能提取，迅速返回相同或相似产品的信息，并解决传统关键字搜索的局限性。由于非结构化数据的增长不断增长，云存储平台需要e向量矢量张Xiao的能力，“ Data Fotentiane CI可以改善对非结构化数据的控制。”广州 - 科技），本文是作者的独立愿景，并不代表Yibang Dynamics的立场。