搜索

回答

Magic 公司开发了一个能够处理 1 亿 token 上下文的 AI 语言模型 LTM-2-mini，这是一个专门针对代码的模型，其运作方式可能会从根本上改变 AI 模型的工作方式，并且团队已经获得了 4.65 亿美元的融资。

800_auto Magic 这家初创公司开发的代码语言模型 LTM-2-mini 具有 1 亿 token 的上下文窗口，相当于一千万行代码或 750 部小说，这远远超出了以往的限制。

LTM-2-mini 采用了序列维度算法，其计算效率比 Llama 3.1 405B 的注意力机制高出约 1000 倍，这一能力极大地扩展了模型在实际应用中的适用范围。

此外，Magic 团队设计了一个新的评估上下文长度和可靠性的体系 HashHop，取代了「大海捞针」。

HashHop 的特点是不可压缩、多跳、无语义提示和无新近性偏差。

Magic 团队的成果已经获得了大佬投资者的青睐，包括 Eric Schmidt、Jane Street、红杉资本和 Atlassian 等，团队已经获得 4.65 亿美元融资。

Magic 的 LTM 模型在计算和内存上比 Llama 3.1 405B 的注意力机制少 1000 多倍。在解决了上下文问题之后，团队现在可以专注于无限推理时间的计算能力。

Magic 的目标是设计长上下文、推理时间的计算能力和端到端强化学习，实现编码和研究的全自动化。

Magic 团队解释了研究过程的具体细节，包括如何通过 HashHop 评估上下文窗口，并且在实际应用中，LTM-2-mini 展现了出色的性能。

Magic 还在 Google Cloud 上构建了两台超级计算机，并计划扩展其团队，以推动 AGI 的实现。

Magic 的创始人 Eric Steinberger 和 Sebastian De Ro 在 2022 年创立了公司，尽管团队规模较小且没有收入，但现在已经成为一个备受关注的 AI 编码初创公司。

Magic 的野心是实现 AGI，为此他们聘请了前 OpenAI 超级计算团队负责人 Ben Chess，并计划扩展其网络安全、工程、研究和系统工程团队。

网友回复

我知道答案，我要回答

我有问题

私活外包