💎 挖掘各大市场被低估的宝藏股立即进入

中信建投证券:OpenAI o1逻辑能力显著提升 推理侧算力消耗大幅增加

发布时间 2024-9-20 09:14
更新时间 2024-9-20 10:35
© Reuters.  中信建投证券:OpenAI o1逻辑能力显著提升 推理侧算力消耗大幅增加

智通财经APP获悉,中信建投证券发布研报称,OpenAI发布新的具有深度思考能力的o1推理模型,模型在复杂问题上花更多时间进行思考而非直接回应,具有改善和调整策略的能力,在科学、代码和数学等复杂问题上表现出色。OpenAI o1融合思维树和强化学习,实现思维模式的深度探索。Open o1在模型推理侧同样满足scaling law,即模型推理时间越久模型处理复杂问题能力愈强,通过不断的思维树检索和反复自我博弈,o1呈现出类人的逻辑思维潜力。由于推理过程的反复博弈,新架构下推理侧算力消耗将大幅增加。

OpenAI o1具备深度思考能力,在复杂问题上表现出色。从ChatGPT爆火整个社交网络后,大模型行业进入如火如荼的发展阶段,模型的基础能力得到显著提升,然而Transformer模型由于其架构限制存在一定的能力边界难以逾越,涉及到复杂数理逻辑推理时表现仍然有待提升。提示词工程应运而生,在合理的提示词设计下,大模型推理能力得到显著提升。OpenAI发布新的具有深度思考能力的o1推理模型,模型在复杂问题上花更多时间进行思考而非直接回应,具有改善和调整策略的能力,在科学、代码和数学等复杂问题上表现出色。

OpenAI o1融合思维树和强化学习,实现思维模式的深度探索。思维链和思维树通过中间推理步骤帮助大模型实现了复杂的推理能力,大语言模型能够自己对严谨推理过程的中间思维进行评估。强化学习是人工智能重要的研究领域,智能体在与环境的反复交互过程中持续学习,不断最大化其奖励。OpenAI o1深度融合思维树和强化学习,实现思维树的自我训练,同时通过广度搜索和深度搜索不断优化其思维树结构,进而实现思维模式的深度探索。

推理侧scaling law同样存在,大模型算力需求逐步迁移至推理侧。过去在训练侧证实了scaling law的存在,即训练越多模型愈发聪明。Open o1在模型推理侧同时发现了scaling law,即模型推理时间越久模型处理复杂问题能力愈强,推理侧的scaling law同样展现了巨大的潜力,通过不断的思维树检索和反复自我博弈,o1呈现出类人的逻辑思维潜力。由于在推理过程的反复博弈,模型当前推理算力需求大幅提升,大模型整体算力消耗从训练侧逐渐迁移至推理侧,对整个算力需求起到长期的重要支撑。

最新评论

风险批露: 交易股票、外汇、商品、期货、债券、基金等金融工具或加密货币属高风险行为,这些风险包括损失您的部分或全部投资金额,所以交易并非适合所有投资者。加密货币价格极易波动,可能受金融、监管或政治事件等外部因素的影响。保证金交易会放大金融风险。
在决定交易任何金融工具或加密货币前,您应当充分了解与金融市场交易相关的风险和成本,并谨慎考虑您的投资目标、经验水平以及风险偏好,必要时应当寻求专业意见。
Fusion Media提醒您,本网站所含数据未必实时、准确。本网站的数据和价格未必由市场或交易所提供,而可能由做市商提供,所以价格可能并不准确且可能与实际市场价格行情存在差异。即该价格仅为指示性价格,反映行情走势,不宜为交易目的使用。对于您因交易行为或依赖本网站所含信息所导致的任何损失,Fusion Media及本网站所含数据的提供商不承担责任。
未经Fusion Media及/或数据提供商书面许可,禁止使用、存储、复制、展现、修改、传播或分发本网站所含数据。提供本网站所含数据的供应商及交易所保留其所有知识产权。
本网站的广告客户可能会根据您与广告或广告主的互动情况,向Fusion Media支付费用。
本协议的英文版本系主要版本。如英文版本与中文版本存在差异,以英文版本为准。
© 2007-2024 - Fusion Media Limited | 粤ICP备17131071号 | 保留所有权利。