一、实验背景1.1 实验目的这次实验的核心任务是借助助睿 ETL 工具完成自媒体多平台原始数据的清洗与预处理。这是进入特征工程和可视化建模之前的必经环节。通过实际操作我希望掌握以下几项关键能力第一理解数据清洗在整个数据分析与机器学习流程中的前置地位明白脏数据会对后续建模和统计计算产生什么样的实际干扰第二熟练运用助睿 ETL 的拖拽式组件完成多条件过滤、空值填充、分组聚合、字段筛选等标准化的数据预处理操作第三掌握 ETL 流程中的分支分流设计思路区分两类不同的数据处理逻辑——一类用于全平台的大盘统计另一类用于重点平台的深度明细分析。最终这套流程将产出两张标准化的数据表一张供仪表盘的指标卡使用另一张交给下一阶段的特征工程。1.2 实验环境平台全称助睿数智Uniplore一站式数据科学实验平台官网地址https://www.uniplore.com/实验访问地址https://lab.guilian.cn/核心处理工具助睿 ETLUD Studio数据集成模块工具核心特性零代码可视化 Pipeline无需编写 SQL、Python 即可完成 ETL 全流程内置 200 数据转换组件覆盖清洗、聚合、关联、文本处理等场景元数据统一管理数据表跨实验可复用适配完整数据链路流批一体引擎支持 CSV、数据库等多类数据源接入。实验数据集 数据源文件自媒体作品数据明细.csv 数据范围6 月 8 日 - 6 月 15 日全班学生在 B 站、CSDN、微信、知乎、小红书发布的作品互动明细 数据缺陷多平台无效记录、文本字段空值、冗余采集字段、分平台差异化互动指标。1.3 核心设计思路1.3.1 数据清洗的必要性原始采集数据存在三类脏数据直接用于分析、机器学习会引发统计失真、代码报错平台冗余脏数据微信、知乎、小红书绝大部分浏览量为 0无有效分析价值保留会稀释流量数据无效业务记录部分作品浏览、点赞、收藏全部为 0属于失效采集或零曝光内容不适合深度分析缺失字段标题、作者名称存在空值后续文本特征提取、分组统计会出现空值报错。 数据清洗核心目标剔除无效数据、补齐缺失内容、规范字段结构拆分两套数据分别适配不同分析场景。1.3.2 整体数据处理流程ETL 流程设计从原始数据到两张目标表为了兼顾“宏观总览”和“微观分析”两类需求我把数据清洗链路设计为双分支并行结构。所有原始 CSV 数据统一导入后通过「复制记录」组件将数据流一分为二分别进入两条独立的处理管线管线一全平台汇总这条线走的是“聚合”逻辑。数据经过排序和分组聚合运算后输出一张全平台总表。这张表不保留明细只沉淀各维度的汇总统计值后续直接对接仪表盘的指标卡用于展示大盘关键数据。管线二重点平台明细这条线走的是“清洗”逻辑。数据依次经过多条件筛选去除非目标平台的记录、缺失值填充保证字段完整、字段精简只保留后续分析需要的核心字段三道工序后输出一张清洗后的明细宽表。这张表保留完整的数据粒度作为特征工程和可视化分析的底层输入。两张表各司其职汇总表追求“快”服务 dashboard明细表追求“全”服务建模与分析。二、实验步骤含操作说明、配置要点、截图说明步骤 1创建两张目标数据表操作说明进入助睿 ETL 表管理模块分别新建两张结构化数据表提前定义字段名称、数据类 型与业务含义为后续表输出做准备。表 1summary_all_platforms全平台汇总表字段名数据类型配置说明crawl_dateDATE数据采集日期保留时间维度用于趋势统计platformVARCHAR(20)发布平台名称B 站 / CSDN / 微信 / 知乎 / 小红书content_countINT当日该平台发布作品总条数total_viewsINT平台全部作品总浏览量total_likesINT平台总点赞数量total_favoritesINT平台总收藏数量total_sharesINT平台总分享数量total_coinsINTB 站专属投币量其他平台自动聚合为 0total_recommendINT微信专属推荐指标total_likes_zhihuINT知乎专属喜欢指标total_approvalsINT知乎专属赞同指标配置要点不做任何数据过滤完整保留全部平台数据各平台独有互动指标独立建列不合并求和保证各平台业务指标可区分。DROP TABLE IF EXISTS summary_all_platforms; CREATE TABLE IF NOT EXISTS summary_all_platforms ( id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键ID, crawl_date DATE NOT NULL COMMENT 采集日期, platform VARCHAR(20) NOT NULL COMMENT 平台名称, content_count INT COMMENT 作品数量, total_views INT COMMENT 总浏览数, total_likes INT COMMENT 总点赞数, total_favorites INT COMMENT 总收藏数, total_shares INT COMMENT 总分享数, total_coins INT COMMENT 总投币数仅B站, total_recommend INT COMMENT 总推荐数仅微信, total_likes_zhihu INT COMMENT 总喜欢数仅知乎, total_approvals INT COMMENT 总赞同数仅知乎 ) ENGINE InnoDB DEFAULT CHARSET utf8mb4 COMMENT 全平台概况汇总表;表 2content_analysis重点平台清洗明细表字段名数据类型配置说明dateDATE采集日期author_nameVARCHAR(100)作品作者昵称titleVARCHAR(500)作品标题platformVARCHAR(20)仅存储 B 站、CSDNlikes/favorites/shares/coinsINT基础互动指标viewsINT播放 / 阅读量urlVARCHAR(500)作品外链total_interactionINT预留字段下一实验计算总互动has_best/has_lowcode/has_practice/has_tutorial/has_pitTINYINT(1)预留标题关键词 0-1 特征字段配置要点预留衍生特征字段无需在本次实验填充为实验 7-2 特征工程预留存储空间。 截图说明截图保存数据表结构配置界面留存字段类型、长度设置页面。DROP TABLE IF EXISTS content_analysis; CREATE TABLE IF NOT EXISTS content_analysis ( id INT AUTO_INCREMENT PRIMARY KEY COMMENT 自增主键ID, date DATE NOT NULL COMMENT 采集日期, author_name VARCHAR(100) COMMENT 作者昵称, title VARCHAR(500) NOT NULL COMMENT 作品标题, platform VARCHAR(20) NOT NULL COMMENT B站 / CSDN, likes INT COMMENT 点赞数, favorites INT COMMENT 收藏数, shares INT COMMENT 分享数, coins INT COMMENT 投币数仅B站, views INT COMMENT 播放量/阅读量, url VARCHAR(500) COMMENT 作品链接, total_interaction INT COMMENT 互动总数, has_best TINYINT(1) COMMENT 是否含“保姆级” 0否1是, has_lowcode TINYINT(1) COMMENT 是否含“零代码” 0否1是, has_practice TINYINT(1) COMMENT 是否含“实战” 0否1是, has_tutorial TINYINT(1) COMMENT 是否含“教程/指南” 0否1是, has_pit TINYINT(1) COMMENT 是否含“踩坑” 0否1是 )ENGINE InnoDB DEFAULT CHARSET utf8mb4 COMMENT 内容分析明细表实验二输入仅B站、CSDN有效数据;步骤 2导入原始 CSV 数据源操作说明从平台公共资源库拷贝原始数据至个人文件库通过「文件输入」组件加载 CSV 作为整个 Pipeline 的数据源。1.在 ETL 公共空间找到自媒体作品数据明细.csv右键复制至个人私有文件库2.拖拽「文件输入」组件至画布文件路径选择个人库内目标文件3.点击「数据探查」预览原始数据记录空标题、零浏览、多平台混杂等脏数据现象。配置要点文件编码设置为 UTF-8开启自动识别表头数值字段统一识别为整数类型。截图说明原始数据预览探查截图记录脏数据样本。步骤 3分支 1—— 全平台聚合统计操作说明使用「复制记录」将原始数据流一分为二第一条分支完成全平台分组聚合输出大盘汇总表。1.拖拽「执行一个sql脚本」组件将输入数据分流为两条独立线2.第一条线依次添加「排序记录」、「分组聚合」组件3.排序组件的配置按crawl_date、platform升序排序4.分组聚合配置分组字段为crawl_date、platform聚合规则计数指标针对content_count字段统计分组内的记录条数求和指标剔除作者、URL、来源文件名和标题这4个字段后对其余所有数值字段进行求和汇总。5.管线末端添加「表输出」组件绑定目标表summary_all_platforms不开启运行前裁剪表。 配置要点聚合时保留平台专属指标不做跨平台指标合并。 截图说明聚合组件参数配置截图、分支完整管线截图。步骤 4分支 2—— 多条件过滤无效记录操作说明第二条清洗分支接入「过滤记录」组件剔除无分析价值平台与零曝光作品。 过滤逻辑表达式(platform B站 AND views 0) OR (platform CSDN AND views 0)配置要点1.条件区分字符串匹配平台名称与数值判断浏览量2.AND、OR 嵌套实现双重筛选仅保留 B 站 / CSDN同时剔除浏览量为 0 的作品3.为验证过滤条件的有效性我在流程执行后对输出数据进行了抽样检查。核验重点覆盖两个维度一是确认非目标平台微信、知乎、小红书的记录已被完全剔除二是确认 views 字段为零的无效数据已被清洗。经抽样查看过滤结果符合预期。步骤 5缺失值填充处理操作说明过滤完成后接入「空值替换」组件补齐作者、标题空文本避免后续文本处理报错。1.待填充字段author_name、title2.填充规则空值统一替换文本未知3.数值互动字段无空值无需配置填充规则。 配置要点区分文本空值、数值空值两套处理逻辑不统一填充数字。 截图说明空值替换组件配置界面截图。步骤 6字段选择精简操作说明使用「字段选择」剔除采集冗余字段仅保留业务分析所需字段。剔除字段source_file采集批次标记无分析意义保留字段date, author_name, title, platform, likes, favorites, shares, coins, views, url配置要点勾选「移除未选中字段」减少数据表冗余存储提升后续计算效率。步骤 7输出清洗明细表操作说明字段筛选后接入「表输出」组件将清洗完成明细写入content_analysis。 配置要点勾选「运行前清空表」保证每次实验产出干净无重复的明细数据。步骤 8完整转换流执行与数据验证操作说明检查两条分支组件连线、字段映射无报错点击画布顶部「运行」执行整条 ETL 流水线。1.运行结束后分别打开两张目标表执行数据探查2.验证标准1summary_all_platforms包含 5 个平台所有日期汇总数据2content_analysis仅存在 B 站、CSDN 有效作品无标题 / 作者空值无冗余字段。截图说明完整 Pipeline 流程图、两张数据表最终探查结果截图。三、实验结果1. 产出数据表 1summary_all_platforms 存储 6.8-6.15 全平台按日期聚合汇总数据完整记录各平台作品总量、总浏览、分平台特色互动指标共包含 5 个平台统计记录可直接用于仪表盘顶部大盘指标卡。2. 产出数据表 2content_analysis 完成脏数据剔除、空值补齐、字段精简后的有效作品明细仅保留 B 站、CSDN 浏览量大于 0 的内容无缺失文本字段结构规范作为实验 7-2 特征工程的基础输入数据源。3. 数据对比验证原始 CSV 约 1900 条原始记录经过滤清洗后有效明细数据约 1200 条剔除全部无业务分析价值的脏数据数据质量满足后续统计、文本特征提取需求。四、问题与解决问题 1过滤组件执行后仍存在浏览量 0 的记录问题现象配置完多条件过滤数据预览依旧出现 views0 的 B 站、CSDN 作品问题原因原始 CSV 中 views 字段被识别为字符串类型数值大小判断逻辑失效解决方法在过滤组件前新增「类型转换」组件将 views 统一转换为 INT 整数类型重新运行过滤流程。问题 2空值填充完成后标题、作者仍存在空白数据问题现象配置文本空值替换为 “未知”探查数据依旧存在空单元格问题原因原始数据空白为空格字符串并非数据库标准 NULL 空值解决方法在空值替换前增加「字符串修剪」组件清除字段前后空格再执行空值填充。问题 3分组聚合后平台专属指标全部显示 0问题现象summary_all_platforms 表中 B 站投币、知乎赞同数值均为 0和原始数据不符问题原因分组聚合时字段映射错误未匹配对应平台互动字段解决方法重新核对聚合组件字段映射关系分平台指标单独配置求和规则。五、实验总结5.1 实验收获本次实验重点掌握以下四方面内容理解数据清洗的业务逻辑。 能够自主识别三类典型脏数据——平台冗余记录、无效数据、字段缺失——并理解它们对后续特征工程、可视化呈现和建模效果的负面影响。熟练使用助睿 ETL 的核心预处理组件。 掌握多条件 AND/OR 联合过滤、文本空值填充、分组聚合和字段精简等操作的零代码配置方法。掌握 ETL 流程的分支分流设计思路。 能够根据数据用途区分大盘汇总与明细分析两种加工路径理解宽表设计思想实现“一次清洗、多处复用”的数据交付目标。建立标准化的数据处理意识。 按“先规划表结构 → 再导入数据 → 分流加工 → 最后校验”的顺序推进工作贴合企业真实数据分析流程。5.2 平台整体评价助睿数智 Uniplore 一站式平台完整覆盖了从 ETL 数据清洗、特征建模到可视化呈现的整套分析链路。通过零代码拖拽式的交互方式显著降低了数据分析的入门门槛——即便不掌握编程语言或 SQL也能完成专业水准的数据预处理工作。平台内置了丰富的数据转换组件同时支持自定义配置能够灵活适配不同业务场景下的差异化指标需求。数据表可在跨实验任务中复用有效串联起数据清洗、特征工程、可视化展示的完整实训流程非常适合商业数据分析及大数据基础课程的实操教学。此外平台具备标准化的元数据管理能力可视化的 Pipeline 流程结构清晰每一步操作都有迹可循便于实验复盘与问题排查。