C2C 技术基础技术基础
数据基础:从记录到可信证据
以虚构的积木体验站为贯穿案例,学习数据类型、表格结构、清洗、描述统计、抽样偏差与数据划分。课程不要求编程,重点是看懂一条记录代表什么、数字怎样产生、结论能支持到哪里,并建立可追溯、可复核的分析习惯,为后续数学与机器学习打好基础。
学完你将能够
- 为数据建立清楚的字段与记录定义
- 识别缺失、重复、异常与单位问题
- 用合适的统计量描述数据而不夸大结论
- 设计避免信息泄漏的小型数据准备流程
课节目录
综合项目:积木体验站的数据准备与证据报告
使用十二条自行编造且明确标注为虚构的任务尝试,制作可复核的数据包,目标是在任务开始前预测完成情况。不收集真实个人数据,也不训练模型。
步骤
- 定义一行一次尝试、预测时点与目标标签
- 建立任务表与尝试表,包含两个任务类型、两个难度和虚构角色编号
- 设置一条单位不一致、一条缺失及一条已确认重复,用日志记录处理
- 计算完成率、均值、中位数并说明样本与分布
- 按虚构角色分组形成训练验证测试清单
- 列出开始前特征与必须排除的事后字段,完成质量检查
交付物
- 原始表、处理表及字段字典
- 带修改依据的清洗日志
- 统计摘要、划分清单与局限说明
自查标准
- 记录单位清晰,编号与关联关系可核对
- 缺失、重复与单位修改都有依据
- 比例分母正确,摘要包含样本数
- 同一角色不跨数据集合
- 明确排除事后字段,不将虚构数据称为现实证据
查看参考方案
参考交付摘要
本数据包全部为虚构教学记录,一行代表一次任务尝试,预测时点是开始前。任务表以任务编号和版本共同标识配置,尝试表以尝试编号唯一标识记录。原始十二行中一行是确认重复导入,处理后保留十一次尝试;有一条用秒记录的用时换算成分钟,另有一条用时因原因不明保留缺失。清洗日志保留原值、规则、修改理由及处理版本,不把缺失填成零。
摘要分别报告桥梁与塔楼的总尝试数、完成数及比例,计算已知完成用时的均值和中位数,同时列出缺失数量和较长用时。两组难度构成不同,因此只能描述本样本中的差异,不能称任务类型造成完成率变化。用于预测的特征包括积木数、预设难度和此前练习次数,排除本次最终用时与完成贴纸编号。
按虚构角色分组保存训练、验证、测试名单,所有填充与编码规则只在训练集确定。最终检查编号唯一、单位一致、标签定义一致、角色集合互不重叠。此样例展示数据准备方法,不证明模型有效,也不支持真实活动部署;如后续数据流程改变,需要重新核对字段定义及评估情境。