山东移动“齐鲁智造”Token工厂在济南正式发布,标志着山东省在人工智能基础软件开发领域迈出关键一步。该平台聚焦大模型时代的关键基础设施——Token(词元)计算与调度,旨在为区域人工智能产业提供高效、安全、普惠的算力与软件支撑。
一、为何需要Token工厂?
随着大语言模型和生成式AI的爆发,Token成为模型训练与推理的核心计量单位。海量Token的清洗、编码、调度与安全管理,直接决定AI应用的性能与成本。山东移动依托自身算网资源与数据治理能力,打造“齐鲁智造”Token工厂,以工业化方式生产、加工和分发高质量Token,降低企业使用AI的门槛。
二、核心能力与技术亮点
1. 全链路Token生产:覆盖文本采集、去重清洗、分词编码、质量评估等环节,支持千亿级Token日处理能力,保障训练语料高质量。
2. 高效推理调度:基于中国移动九天人工智能平台,自研Token缓存与流式调度算法,显著降低大模型推理时延与重复计算开销。
3. 基础软件栈自主可控:集成分词器、嵌入向量数据库、推理加速引擎等基础软件,适配主流国产AI芯片与框架,兼容生态同时强化安全。
4. 安全合规与数据治理:内置内容安全过滤与隐私计算模块,满足数据不出域、模型可追溯的监管要求,助力企业安全合规开展AI应用。
三、赋能“齐鲁智造”的路径
Token工厂已面向制造、政务、医疗、教育等行业开放服务。在制造业领域,可支撑智能质检、工艺优化、供应链预测等场景的知识问答与内容生成;在政务领域,推动智能客服、材料辅助审批等应用降本增效。通过“算网+Token+AI应用”一体化服务,山东移动正助力打造“齐鲁智造”品牌,加速智改数转。
四、未来展望
山东移动表示,将以Token工厂为节点,联合高校、科研机构与产业链企业开展基础软件联合攻关,推动行业Tokenizer标准制定,培育AI原生开发者社区,力争三年内服务超过1000家企事业单位,形成辐射全省的人工智能基础软件生态,为数字强省建设注入新动能。