模型优化:
人群包生成:熟悉Lightgbm树模型原理,开发人群包样本生成、离线评估的整个流程,实验包行为率由
3.4%->13.99%
Masknet优化模型:dfm学习特征交叉能力有限,使用Masknet优化模型结构,首先通过Instance-Guided
Mask学习每个field的重要度,其次MaskBlock通过element-wise将Instance-Guided Mask作用于每个
embedding,从而突出重要的特征;效果提升稳定:收入增加6.57%,ecpm增加提升22.67%,曝光下降
13.12%
• 用户特征优化
(1)用户实时特征:
项目背景:为了更及时的抽象用户当前的场景、行为等使得模型预估更具准确性和时效性项目内容:
§ 深入了解统计对象、统计维度、统计指标以及时间窗口,以便精确地设计实时特征;
§ 制定了特征在线上的处理逻辑和数据交互方式,确保特征的高效使用;
§ 负责评估开发过程中的样本日志量增加比例,并进行成本预估,以确保项目的可行性
结果:基于base模型增加特征训练,ab实验效果,ecpm提升了5.2%,收入增长5.04%
(2)用户场景特征:
项目背景:基于shareit场景中广告行为数据较稀疏,模型不易建模用户兴趣;获取用户对各个功能的频率信
息以及使用时长,以丰富用户行为,挖掘用户兴趣
项目内容:
§ 离线大数据处理:Hive、pySpark对离线日志进行数据处理,使用udf、pivot、agg等,分析特征取值
的分布情况
§ 离线训练评估结果:针对连续特征通过裁剪、分桶、取对数等方式进行预处理并离线训练测评效果;
离线训练一周,ctr模型相对明显,auc提升1.22%,gauc提升0.448%,loss减少1.488%
§ 讨论并设计线上需求方案:同步特征抽取、线上服务、离线日志的协议
§ 特征输入写入:将离线特征数据通过Spark写入公司自研的实时数据库中;
结果:曝光增长3.42%,收入增长了3.55%;ecpm增长了0.12%,
§ 策略优化:
(1)新渠道接入:设计实时ctr出价、cvr及贝叶斯平滑出价策略,基于白名单、新单子保量、控量策
略、二次调价、PID控制等,保证新单子冷启阶策略出价累积充足样本
(2)实时后验策略设计:针对cpc、cpi订单,目标是利用选择更合适的粒度以更实时的方式计算ctr;
§ 方案设计:在一定时间窗口下,设置动态置信阈值,当曝光达到动态阈值后计算ctr
§ 设计实施方案:设定计算粒度以及可动态变化的曝光阈值;数据侧以主从数据存储的方式,将flink
的实时数据写入redis以及mysql;算法侧读取mysql数据库,通过proto协议存储为pb格式,分钟级
更新;工程侧实时读取pb数据;
§ 数据验证:验证实时流ctr的正确性和完整性,保障线上可回退机制;建立ab报表及监控,观测指定
维度上的效果
• 工程链路:
新渠道数据接入以及server路由拆分:梳理新渠道的数据链路、特征等,配合工程侧进行链路校验以及线上
线下特征一致性校验;了解请求、曝光从Flink实时流接入到日志拼接、特征抽取、生成训练样本、模型训
练的整体过程;

• 行业调研：负责企业数据梳理及整合；针对城投、通信、港口等行业模型，通过调研wind、证券交易所等平台，研究募集报告、财务报告、年度报告、评级报告等，分析并整合各企业及高管数据信息；
• 数据分析：爬取证交所平台日更持有人大会及行权管理相关公告，并整合至Excel中，熟练掌握Excel的数据高级筛选、计算等操作技巧，统计浏览几千条定期报告、临时报告，熟练掌握公司及行业报告的的阅读技巧；

集群部署与管理项目
小组（5 人) 2021 年 4 月 –2021 年 05 月
• 项目背景：为提高群体对澳大利亚各城市生活认识度，在 UniMelb 研究云上收集澳大利亚各城市的推文，
分析各种社交媒体数据，讲述澳大利亚各城市有趣的生活故事，将推文数据与 AURIN 平台上的数据一起使
用；
• 项目内容：开发一个基于云的解决方案，利用 UniMelbResearch 云中的虚拟机，搭建服务器实例，调研
Twitter API 手机相关资料、Twitte 推文等，并对调研数据进行分析，将结果以地图分布和图表的形式在前端
展示；
• 执行过程：利用 8 个虚拟 CPU 和 500Gb 的容量存储，在服务器端创建 4 个实例，用 ansible 配置 docker 环
境并设立 couchDB 集群；利用官方的 Twitter API 搜索和流接口，爬取共计约 350 万条数据，清理并上传至
couchDB 服务器端；利用 MapReduce 进行数据分析，运用 NLTK、Wordle、textblob 对 tweet 的 text 文本内
容、情感偏向进行分析，将分析结果上传至 couchDB；Web 端从 couchDB 上获取分析结果，以地图和动态
图表的形式在前端展示；
项目链接：https://github.com/KunxiSun/COMP90024ASM2
基于 Twitter 社交网络的数据预测用户间的关联关系
小组（3 人) 负责人 2020 年 08 月 –2020 年 09 月
• 项目背景：生活中的成对关系很常见，如计算机之间的通信联系，利用网络的关系抽象方法，用实体表示
网络节点，用实体表示网络节点，成对的关系表示边。由于很难收集完整的成对关系，这种关系存在极大
的不确定性
• 项目目标：从一个训练网络中学习，网络中的节点为 Twitter 用户 ID，从节点 A 到 B 的有向边表示 A 关注
了 B，整个训练集包括近 2400w 条边和 486w 个节点，训练一个模型预测任意两点相连的可能性
• 执行过程：第一步数据处理，数据量较大，以字典格式读取以提高索引效率；第二步划分样本集，随机选
择节点，用它们已知的相连边作为正样本，然后通过节点生成未知的边作为副样本；第三步特征工程，通
过归一化、缺失值处理，样本重调等方法进行预处理，然后进行相似度计算，计算 Jaccard 指数、Adamic /
Adar 指数、余弦相似性等，通过方差和相关系数的方法进行特征选择；第四步建模，用 scikit-learn 库，使
用逻辑回归、KNN、SVM、等多种库的机器学习方法进行建模并评估
• 项目结果：本地的准确率为 0.90，测试 AUC 为 0.83，且逻辑回归这种较为简单的模型对于较大数据集拟合
效果相对较好
基于 Domain 的房地产数据分析 2021 年 5 月 –2021 年 07 月
• 项目职责：负责分析行业市场数据；利用 haversine 筛选区域，明确针对用户及痛点，区分房型，预测投资
前景，进一步爬去区相关的人口数量、年龄、周边学校等数据，利用维度建模，从维度和度量值维度建立
excel 数据表格，并逐层筛选目标区，分析区涨跌幅抗跌性等属性；