Character.AI 是一家全栈式人工智能公司，在人工智能推理技术方面取得了一系列突破性进展。根据 Character.AI 最近的一篇博客文章，这些创新将使大型语言模型 （LLM） 更加高效和具有成本效益。
推理技术的突破
Character.AI 旨在构建通用人工智能（AGI），专注于优化推理过程，即LLM生成响应的方法。该公司围绕Transformer架构和“注意力KV缓存”开发了新技术，该缓存增强了文本生成过程中的数据存储和检索。这些改进也显著改进了回合间缓存。
Character.AI 声称每秒提供大约 20,000 个查询，约占 Google 搜索处理的请求量的 20%，每小时对话的成本不到 1 美分。这种效率是通过他们的专有创新实现的，这使得在全球范围内扩展 LLM 的成本要低得多。
成本效益成就
自 2022 年推出以来，Character.AI 已成功将其服务成本降低了至少 33 倍。该公司目前的流量服务成本比使用最高效的领先商业 API 的成本低 13.5 倍。这种成本效益对于消费者 LLM 的可伸缩性至关重要。
如果一家人工智能公司每天为1亿活跃用户提供服务，每人每天使用该服务一小时，那么按目前每小时0.01美元的速度计算，服务成本将达到每年3.65亿美元。相比之下，使用领先商业 API 的竞争对手每年将产生至少 47.5 亿美元的成本。这些数字凸显了 Character.AI 的推理改进所提供的显著业务优势。
未来影响
推理效率的提高不仅使 LLM 扩展到全球受众成为可能，而且还为创建有利可图的企业对消费者 （B2C） AI 企业铺平了道路。Character.AI 继续迭代这些创新，旨在让全球消费者都能使用他们的先进技术。
有关更多详细信息，您可以在此处阅读完整的技术博客文章。
图片来源：Shutterstock
