图解:Deequ 数据画像与质量校验, 保障 Data Agent 与 BI 数据可信
做数据开发、数仓治理的同学,大概率都遇到过这个痛点:数据跑了几天,上线报表才发现脏数据、空值、越界值,追溯排查耗费大量时间,AI Data Agent 也会因为劣质数据输出错误结果。
数据质量动态探查及相关前端实现
数据探查上线之前,数据验证都是通过写 SQL 方式进行查询的,从编写 SQL,到解析运行出结果,不仅时间长,还会反复消耗计算资源,探查上线后,只需要一次探查,就可以得到整张表的探查报告,但后续我们还发现了一些问题,主要有三点:无法看到探查的数据明细以及关联的行详情,无法对数据进行预处理操作。
世界局势到底怎么了?熵增!熵增!熵增!
rather, it is a contest of values regarding paths, civilizations, and rules. The old era defined by unilateralism, bloc confrontation, and zero-sum games has come to an end, while a new era characterized by multilateralism, openness, inclusiveness, and mutually beneficial symbiosis is rapidly unfolding.
数据准备占80%时间?LLM能帮你把这块时间砍掉一半吗?
论文里有一句话我挺认同的:“LLM-enhanced methods are rapidly becoming a transformative and potentially dominant paradigm for data preparation.”
登顶Hugging Face论文热榜,LLM重写数据准备的游戏规则
在企业级系统中,数据团队普遍面临一个困境:模型迭代飞速,但数据准备的「老旧管道」却愈发沉重。论文标题:Can LLMs Clean Up Your Mess?
世界局势到底怎么了?熵增!熵增!熵增!
Fourth, global governance is transitioning from elite monopoly to broad-based participation, with fairness and inclusivity becoming the prevailing trends of the era.
AI 集成的智能 Profiling 实践:从性能分析到优化闭环
尽管传统的 Profiling 工具如火焰图、调用栈分析等能帮助开发者定位性能瓶颈,但如何快速理解报告并制定优化策略仍高度依赖个人经验。16 年老程序员用 Claude Code 搞副业:我只手敲了 1000 行,剩下 95% 代码靠自动生成。
用种族甄别非法移民?新西兰移民部长:暂未实施
上周新西兰移民局称正在开发一套“数据画像”程序。优先处理某些“高危”的逾期滞留者,将他们遣返回国。目前,该程序正在移民局奥克兰办公室进行测试,已经分析了1.1万名非法移民的历史信息,包括其国籍、年龄和性别,以及他们是否曾被警察抓获、非法打工或使用过他们无权使用的医疗服务、拖欠医院
用pandas-profiling做出更好的探索性数据分析(附代码)
原文标题:A better EDA with Pandas-profiling。喜欢音乐、电影和看书,我对于数据科学和数据可视化比较有兴趣,最近在学习CV和机器学习算法基础,希望能与各位大佬交流切磋长姿势。