研究方向
  • 多模态大数据感知

通过多视角学习方式融合多源异构数据,实现对城市参与者的全面多维感知。

  • 城市交通预测与干预

基于大规模路网结构,针对交通拥堵治理问题,进行分析预测和智能干预。

  • 城市大规模并行异构计算

通过并行异构计算来加速在海量实时异构数据网络上的计算和处理过程。

  • 城市复杂环境感知与理解

对城市环境进行有效的感知建模,并设计对于环境鲁棒的自适应计算机视觉算法。

  • 城市视觉搜索引擎

利用视频的动态特征信息进行行人与行为的特征建模,进一步完成搜索识别。

  • 城市市政规划和公共资源分析

基于大数据智能分析,结合城市发展规律,对城市的基础设施布局和公共资源分配进行智能分析和决策。


产品及应用
  • 城市视觉智能引擎

    依托于阿里云分布式计算和存储平台,利用先进的视频图像、图形学处理技术和深度学习算法,建立城市级人工智能模型,实现对整个城市视觉数据的接入、计算、分析、索引和挖掘,并赋能公共安全、交通、市政综治、商业、司法、园区、电力能源、医疗教育等各个行业场景。

    了解更多
  • 天擎

    城市大脑的大规模视觉计算平台。包含视频接入系统、实时/离线计算系统与视觉搜索系统三大组件,对外提供完备的大规模视觉计算解决方案。“天擎”已实现云端快速弹性部署,是面向安防的创新产物,为客户按需提供智能分析能力,有效提升智能分析效率。“天擎”可实现视频分析千倍加速,处理16小时视频仅用1分钟。

  • 天曜

    全时全域交通自动巡逻报警系统。能够对城市里面的交通事件、事故进行全方位的实时感知,自动发现人、车、物、事件全要素的异常,自动识别交通事故、违章行为并在20秒内推送给指挥中心,准确率达95%以上。能够实现对城市交通进行7*24小时不间断巡检,减少交警路面巡逻工作量,降低交警安全风险,并将交警从查看监控的任务中解放出来,提高执法效率。

  • 天机

    车流人流预测系统。通过区域内的历史和实时视频数据,实时准确地预测全区域未来的车流、人流情况,为道路疏导、管控决策提供参考,规避拥堵和踩踏等安全隐患问题。目前,在预测未来1小时内车流、人流方面,准确率达90%以上。

  • 天鹰

    渐进式视频搜索引擎。基于对全局视频资源的实时搜索,快速定位特定对象,如查找失踪人口、追踪肇事逃逸车辆等,只需1-2秒的处理时间,且行人识别准确率达到96%以上。

  • 天镜

    城市建设与精细化管理系统。为城管、安监、消防应急、住建、公安、环保等政府各职能部门提供市政事件的视频自动巡逻告警服务,辅助人工巡查,消除城市建设的隐患点,提高城市管理的智能化水平。

  • 天谱

    通过构建城市静态三维场景,融合实时动态感知数据,实现三维空间实时感知,构建全时空的“数字平行世界”,为城市场景的精细化管理、智能化预警预测提供空间维度的支持。

  • 城市解决方案

    杭州: 
    视频巡检识别准确率92%以上,互联网信号灯全自动调控车辆,通行速度提升15%,特种车辆(救护车、消防车等)优先通行效率提升50%,10分钟粒度的地铁进出站客流预测值平均误差在15人以下。

    • 北京:

    全天候自动识别通州核心区和大兴区的工地未苫盖、渣土车未苫盖、道路遗撒等问题,实现了环境污染事件从人工发现到自动感知;围绕生态环保、安全保障、精细治理和综合执法等,实现对西城区运行状态指标的实时感知,有效保障了节日期间的城市安全。

    苏州:
    对公交进行数据优化,两个试点公交线客流量分别增加17%和10%,提升公交分担率。

    上海:
    将交通、能源、供水、建筑等基础设施数字化处理和分析,为公共交通和公共服务提供智能决策。

    雄安新区:
    携手新区打造以云计算为基础设施、物联网为城市神经网络、城市大脑为人工智能中枢的未来智能城市。

    成都:                                                                                                                                   

    在四川高速公路部署的城市大脑天曜系统,利用视频算法数据、川高行业大数据平台、高德互联网实时数据进行多维数据融合,在关键路段堵指数下降30%、事件处置速度提速50%、事故比例下降20%、打击偷逃费效率提升10%、提高运营效率20%。

    郑州:

    采用领先的视觉AI边缘云解决方案,打造视觉智能计算调度平台,通过视频图像认知理解和归纳推理算法服务,为交通、政法、应急、城管、环保、消防等各委办局业务提供智能化应用能力。

    海口:

    针对港口等进出岛重点区域,通过多维数据进行综合研判和事件预警,为政府部门提供多业务数据融合、预警推送、辅助业务单位处置和协同指挥调度能力。

    衢州:
    在以城市大脑为核心的衢州雪亮工程中,上线两个月抓拍踩踏草坪、电动车逆行、行人跨越栏杆等不文明现象曝光近万次,不文明现象曝光一个月后数量下降36%,起到有力的提醒、劝诫作用。相关技术也推广至成都、九江、绍兴等城市。

    • 南方电网/国家电网

    针对输电廊道和基建两大无人机巡检场景,提供故障、缺陷、异常识别视觉能力,支撑电网巡检业务高效开展,有效降低人工成本和时间成本。

    了解更多

研究团队
叶杰平

叶杰平,美国明尼苏达大学博士,IEEE Fellow、ACM杰出科学家,曾获KDD、ICML等多个国际顶会和期刊的最佳论文奖。加入阿里担任达摩院城市大脑实验室负责人前,叶杰平曾任滴滴出行副总裁、滴滴出行人工智能实验室负责人,贝壳技术副总裁、首席科学家。城市大脑是达摩院最早成立的实验室之一,该实验室提供核心技术支持的城市大脑系统现已落地全球几十个城市,成为业界规模最大的人工智能公共系统之一。


学术成果
论文和学术报告
  • Towards Precise Intra-camera Supervised Person Re-identification. Menglin Wang, Baisheng Lai, Haokun Chen, Jianqiang Huang, Xiaojin Gong, Xian-Sheng Hua, WACV, 2021.
  • MaCAR: Urban Traffic Light Control via Active Multi-agent Communication and Action Rectification. Zhengxu Yu, Shuxian Liang, Long Wei, Zhongming Jin, Jianqiang Huang, Deng Cai, Xiaofei He, Xian-Sheng Hua. IJCAI, 2020.
  • Adversarial Mutual Information for Text Generation. Boyuan Pan, Yazheng Yang, Kaizhao Liang, Bhavya Kailkhura, Zhongming Jin, Xian-Sheng Hua, Deng Cai, Bo Li . ICML, 2020.
  • PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation. Shaotian Yan, Chen Shen, Zhongming Jin, Jianqiang Huang, Rongxin Jiang, Yaowu Chen, Xian-Sheng Hua. ACM Multimedia, 2020.
  • Spatial-Temporal Inception Graph Convolutional Neural Networks for Skeleton-based Action Recognition. Zhen Huang, Xu Shen, Xinmei Tian, Houqiang Li, Jianqiang Huang, Xiansheng Hua. ACM Multimedia, 2020.
  • Self-Adaptive Neural Module Transformer for Visual Question Answering. Huasong Zhong, Jingyuan Chen, Chen Shen, Hanwang Zhang, Jianqiang Huang, Xian-Sheng Hua. IEEE Transactions on Multimedia, 2020.
  • Hongwei Yong, Jianqiang Huang, Wangmeng Xiang, Xiansheng Hua, Lei Zhang. Panoramic Background Image Generation for PTZ Cameras. IEEE Transactions on Image Processing, 2019(99):1-1.
  • Zhihang Fu, Yaowu Chen, Hongwei Yong, Rongxin Jiang, Lei Zhang, Xian-Sheng Hua. Foreground Gating and Background Refining Network for Surveillance Object Detection[J]. IEEE Transactions on Image Processing, 2019.
  • Long Wei, Zhenyong Wei, Zhongming Jin, Zhengxu Yu, Jianqiang Huang, Deng Cai, Xiaofei He, Xian-Sheng Hua. SIF: Self-Inspirited Feature Learning for Person Re-identication. IEEE Transactions on Image Processing, ACCEPT.
  • Long Wei,Zhenyong Wei,Zhongming Jin,Qianxiao Wei,Jianqiang Huang,Xian-Sheng Hua,Deng Cai,Xiaofei He. Decouple co-adaptation: Classifier randomization for person re-identification[J]. Neurocomputing,2020,383.
  • Long Wei*, Zhengxu Yu*, Zhongming Jin, Liang Xie, Jianqiang Huang, Deng Cai, Xiaofei He, and Xian-Sheng Hua. "Dual Graph for Traffic Forecasting." IEEE Access (2019).
  • Jiali Xi, Qin Zhou, Yiru Zhao, Shibao Zheng. Fine-Grained Fusion With Distractor Suppression for Video-Based Person Re-Identification. IEEE Access 2019.
  • Chen Shen, Zhongming Jin, Wenqing Chu, Guojun Qi, Xian-Sheng Hua. Multi-level Similarity Perception Network for Person Re-identification. ACM TOMM 2019.
  • Yiru Zhao, Xu Shen, Zhongming Jin, Hongtao Lu, Xiansheng Hua. Attribute-Driven Feature Disentangling and Temporal Aggregation for Video Person Re-Identification. CVPR 2019.
  • Jiwei Yang, Xu Shen, Jun Xing, Xinmei Tian, Houqiang Li, Bing Deng, Jianqiang Huang, Xiansheng Hua. Quantization Networks. CVPR 2019.
  • Jiaxin Shi, Hanwang Zhang, Juanzi Li. Explainable and Explicit Visual Reasoning over Scene Graphs. CVPR, 2019.
  • Yulei Niu, Hanwang Zhang, et al. Recursive Visual Attention in Visual Dialog. CVPR, 2019.
  • Xu Yang, Kaihua Tang, Hanwang Zhang, Jianfei Cai. Auto-Encoding Scene Graphs for Image Captioning. CVPR, 2019.
  • Yunke Zhang, Lixue Gong, Weiwei Xu, Lubin Fan, Peiran Ren. A Late Fusion CNN for Digital Matting. CVPR, 2019.
  • Yuan Yao, Jianqiang Ren, Xuansong Xie, Weidong Liu, Yong-Jin Liu锛Jun Wang. Attention-aware Multi-stroke Style Transfer. CVPR, 2019.
  • Hui Zeng, Lida Li, Zisheng Cao, Lei Zhang. Reliable and Efficient Image Cropping: A Grid Anchor based Approachs. CVPR, 2019.
  • Xixi Jia, Sanyang Liu, Xiagnchu Feng, Lei Zhang. FOCNet: A Fractional Optimal Control Network for Image Denoising. CVPR, 2019.
  • Kai Zhang, Wangmeng Zuo, Lei Zhang. Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels. CVPR, 2019.
  • Shi Guo, Wangmeng Zuo, Zifei Yan, Kai Zhang, Lei Zhang. Toward Convolutional Blind Denoising of Real-world Noisy Photographs. CVPR, 2019.
  • Tao Dai, Jianrui Cai, Yongbing Zhang, Shutao Xia, Lei Zhang. Second-order Attention Network for Single Image Super-resolution. CVPR, 2019.
  • Jingyuan Chen, Lin Ma, Xinpeng Chen, Zequn Jie, Jiebo Luo. Localizing Natural Language in Videos via Boundary Pointer. AAAI, 2019.
  • Zhengxu Yu, Zhongming Jin, Long Wei, Jishun Guo, Jianqiang Huang, Deng Cai, Xiaofei He, Xian-Sheng Hua. Progressive Transfer Learning for Person Re-identification. IJCAI 2019.
  • Xinzhe Li, Qianru Sun, Yaoyao Liu, Shibao Zheng, Qin Zhou, Tat-Seng Chua, Bernt Schiele. Learning to Self-Train for Semi-Supervised Few-Shot Classification. NeurIPS 2019.
  • Zhigang Chang, Qin Zhou, Mingyang Yu, Shibao Zheng, Hua Yang, Tai-Pang Wu. Distribution Context Aware Loss for Person Re-identification. VCIP 2019.
  • Mingyang Yu, Zhigang Chang, Qin Zhou, Shibao Zheng, Tai-Pang Wu. "Reference-oriented Loss for Person Re-identification". IJCNN 2019.
  • Yiru Zhao, Zhongming Jin, Guojun Qi, Hongtao Lu, Xiansheng Hua. An Adversarial Approach to Hard Triplet Generation. ECCV, 2018.
  • Sijia Cai, Wangmeng Zuo, Larry Davis, Lei Zhang. Weakly-supervised Video Summarization using Variational Inference and Web Prior. ECCV, 2018.
  • Zhihang Fu, Zhongming Jin, Guojun Qi, Chen Shen, Rongxin Jiang, Yaowu Chen, Xiansheng Hua. Previewer for Multiple-Scale Object Detector. ACM Multimedia, 2018.
  • Jiwei Yang, Xu Shen, Xinmei Tian, Jianqiang Huang, Houqiang Li, Xiansheng Hua. Local Convolutional Neural Networks for Person Re-Identification. ACM Multimedia, 2018.
  • Xie G T, Wang J D, Zhang Ting, et al. Interleaved Structured Sparse Convolutional Neural Networks [C]. CVPR, 2018.
  • Qi G J, Zhang L, Hu H, et al. Global versus Localized Generative Adversarial Nets[C]. CVPR, 2018.
  • Zhang K, Zuo W, Zhang L. Learning a Single Convolutional Super-Resolution Network for Multiple Degradations[C]. CVPR, 2018.
  • Yang J W, Shen X, Tian X M, et al. Local Convolutional Neural Networks for Person Re-Identification[C]. ACM on Multimedia Conference, 2018.
  • Fu Z H, Jin Z M, Qi G J, et al. Previewer for Multiple-Scale Object Detector[C]. ACM on Multimedia Conference, 2018.
  • Cai S J, Zuo W M, Davis L, el al. Weakly-supervised Video Summarization using Variational Inference and Web Prior[C]. European Conference on Computer Vision, 2018.
  • Zhao Y R, Jin Z M, Qi G J, et al.An Adversarial Approach to Hard Triplet Generation[C]. European Conference on Computer Vision, 2018.
  • Liu Y F, Jaw D W, Huang S C, et al. DesnowNet: Context-Aware Deep Network for Snow Removal[J]. IEEE Transactions on Image Processing, 2018, 27(6): 3064-3073.
  • Chu W, Liu Y, Shen C, et al. Multi-Task Vehicle Detection With Region-of-Interest Voting[J]. IEEE Transactions on Image Processing, 2018, 27(1): 432-441.
  • Shen C, Jin Z, Zhao Y, et al. Deep Siamese Network with Multi-level Similarity Perception for Person Re-identification[C]. Proceedings of the 2017 ACM on Multimedia Conference. ACM, 2017: 1942-1950.
  • Zhao Y, Deng B, Shen C, et al. Spatio-Temporal AutoEncoder for Video Anomaly Detection[C]. Proceedings of the 2017 ACM on Multimedia Conference. ACM, 2017: 1933-1941.
  • Zhao Y, Deng B, Huang J, et al. Stylized Adversarial AutoEncoder for Image Generation[C]. Proceedings of the 2017 ACM on Multimedia Conference. ACM, 2017: 244-251.
展开更多
竞赛
  • 2019年,获CVPR第二届视觉对话竞赛Visual Dialogue Challenge冠军。
  • 2019年,获CVPR首届不完善数据学习竞赛Learning from Imperfect Data的弱监督下的语义分割任务冠军。
  • 2018年1月,获KITTI行人检测单项冠军。
  • 2017年5月,获KITTI车辆检测冠军。

扫描二维码
关注阿里技术微信公众号