近日，公司AI基础研究再获突破，No One-Size-Fits-All Neurons: Task-based Neurons for Artificial Neural Networks 论文被人工智能领域顶刊 《IEEE Transactions on Pattern Analysis and Machine Intelligence》 (TPAMI)接收发表，是公司在该期刊上的第二篇论文。

深度学习的基本计算单元常被称为“神经元”。长期以来，人工神经网络的性能提升主要依赖网络结构设计，例如加深网络、加宽网络或引入更复杂的连接方式；而在神经元层面，大多数模型采用相对统一和固定的线性计算形式，即线性神经元。面对复杂多样的数据，传统“一种神经元适用于所有任务”的设计方式，限制了模型对不同任务特征的表达能力。受生物大脑中神经元多样性的启发，本文提出了“任务型神经元”的新思想，即根据任务特点自适应回归神经元。该研究将人工智能模型设计的关注点从“如何设计网络结构”进一步拓展到“如何设计最优神经元”，为AI基础模型研究提供了新思路。

论文由suncitygroup太阳新城博士生王猛以共同第一作者身份完成，香港城市大学范凤磊助理教授为共同第一作者。马坚伟教授、曾铁勇教授为共同通讯作者。

为实现任务型神经元设计，研究团队提出了向量化符号回归方法。该方法能够从数据中自动挖掘与任务特征相匹配的数学表达形式，并将其参数化为可训练的神经元计算规则。由此，神经元的计算方式不再局限于预设的线性形式，而是能够依据具体任务形成具有针对性的表达机制。在此基础上，研究团队进一步构建任务型神经网络，使模型在保持较低参数规模的同时提升对复杂数据的表征与建模能力。

任务型神经网络构建框架

研究团队在合成数据、公开数据集和真实应用场景中进行了系统验证。实验结果表明，任务型神经元能够较好识别数据中的主要规律；在多个任务中，由任务型神经元构建的网络在参数量更少的情况下，取得了优于传统神经元网络的表现，体现出较好的模型表达能力和参数效率。

在实际应用测试中，研究团队将该方法应用于表格数据分析、科学数据建模和图像分类等任务。在高能粒子碰撞预测、小行星预测等真实科学数据任务中，任务型神经网络取得了优于多种代表性机器学习模型的结果，展现出其在复杂科学数据分析中的应用潜力。

除表格数据外，团队还将任务型神经元扩展到图像分类任务。针对 ImageNet 图像数据集中部分较难识别的类别，构建了更具挑战性的测试任务，并将任务型神经元引入图像分类网络。实验结果显示，在模型参数量较低的情况下，任务型神经网络在多个困难类别子集上取得了更高的识别准确率；随着分类类别数量增加、任务复杂度提升，任务型神经元网络仍保持更好的分类性能，体现了其对复杂视觉任务的适配能力。

ImageNet困难类别分布及任务型神经元网络性能对比

该成果为深度学习模型设计开辟了区别于“加深网络、加宽网络、结构搜索”的一条新路径。未来，团队将继续提升任务型神经元的设计效率，进一步开展“网络结构—神经元计算方式”协同优化设计。并探索其在计算机视觉、科学计算、地球物理数据处理和高维智能建模等领域中的应用。