【微软发布三款顶级AI模型碾压GPT-4】 微软公司近日发布了 Ph
2024-11-17 【 字体:大 中 小 】
【微软发布三款顶级AI模型碾压GPT-4】
微软公司近日发布了 Phi-3.5 系列 AI 模型,其中最引人注目的是推出了首个混合专家模型(MoE)版本 Phi-3.5-MoE。该系列还包含 Phi-3.5-vision 和 Phi-3.5-mini 两款轻量级 AI 模型。
首先,我们来看 Phi-3.5-MoE 这个混合专家模型。它使用了16个3.8亿参数的专家和2个专门激活了66亿个参数的组件,并且使用了512个H100进行训练。微软研究团队从零开始设计这个模型以进一步提高其性能。在标准人工智能基准测试中,它的性能超过了Llama-3.1 8B、Gemma-2-9B和Gemini-1.5-Flash,甚至接近目前领先者 GPT-4omini。其次,我们来看 Phi-3.5-vision 这个增强型多帧图像理解模型。它拥有42亿参数,在256个A100 GPU上进行了500B标记下的训练,并且现在支持多帧图像理解和推理。与之前发布的MMBench相比,它在文档理解基准TextVQA上的性能提高了70.9%。
最后,我们来看 Phi-3.5-mini 这个轻量级、强功能模型。它拥有38亿参数,超过了Llama3.1 8B和Mistral 7B,甚至可以媲美 Mistral NeMo 12B。这个模型仅使用了512个H100进行训练,并且在多语言任务中具有很强的竞争力。
此外,值得一提的是, Phi -3 . 5 -mini 现在支持128K上下文窗口,而其主要竞争对手 Gemma -2 系列仅支持8K。
总结起来,在本次发布的产品中,微软展示出了其强大的AI技术实力,并且这些产品将有望应用于多个领域。
猜你喜欢
外汇百晓生:黄金2390多单如期获利,注意减仓持有
9786
薛之谦演唱会遇人工增雨,引部分粉丝不满?最新回应
8650
特朗普拟对海外制作的电影征收100%的关税
3885
智利森林突发大火 已致46人遇难
2508
《长安三万里》票房破3亿,李白和高适的故事为何动人?
4128
异动快报:科瑞技术(002957)1月31日14点54分触及跌停板
9551
3月18日晚间要闻盘点:我国社保基金全都交给外资机构管理?谣言!本轮油价不作调整…
6893
按天股票配资:撬动股市,成就财富梦想?
9948
揭秘涨停丨世界首例!重要研究成果发布,这一板块“涨声”响起
6555
新加坡航空波音客机降落时引擎冒浓烟!航司称刹车系统出故障
3715
韩国一电池厂发生火灾致20多人死亡
大全能源(688303SH):回购期限已届满 已实际回购102935万股公司股份
震惊!科技公司CEO从6米高笼中坠落死亡,总裁也重伤!警方认为不是单纯的事故
【ETF动向】8月29日嘉实沪深300ETF基金跌043%,份额增加998999万份
规模最大!广州市“南粤春暖”省、市、区联动大型招聘会增城区分会场活动举行
按天股票配资:撬动股市,成就财富梦想?
联合化学(301209)2月7日主力资金净买入3626万元
4月30日联诚转债上涨121%,转股溢价率1646%
配资炒股怎么办理? 风险与收益并存的边缘试探
孙悦前妻陈露久违现身,CBA最美花魁,这身材绝了…
中关村:一季度扣非净利润增长125% 麻精领域产品矩阵渐成形
卞和献玉、孙子膑脚的真相是什么?从甲骨到青铜,看商周刖刑演变_墓葬_甲骨文_西周
和讯投顾程佳:3350关键位置 市场的预期不要打的太高
房屋选择:选房需要逆向思维(一)
数据复盘|逾百家机构调研 这两股透露重要战略!
金·卡戴珊带女儿外出做SPA,越看她女儿的造型,越像“包租婆”?_西北_侃爷_外貌
德商银行:预计欧元区整体通胀维持22% 或使降息预期面临疑问
巴菲特的新科技投资风向标
特朗普称或给很多国家提供关税优惠但需“对等”
交易真相,交易系统总"复盘牛逼,一做就错"?
