发表于 2024年8月29日1年前 数据量在亿级别，主要清洗需求包括对特定字段去空格、统一日期格式、计算日期差、特定数值求和（数值都在行中）、查对字典得到对应值等等。需求虽然五花八门，好在所需的数据都在同一行，不需要进行聚合，也不会跨行查询。不过如遇到无法处理的数据需要及时找到并剔除，反馈并等待重新收集。这种情况需要进行语言交流和重传数据，所以会耗费一定时间。目前的方法是导入 PostgreSQL 进行清洗，遇到不容易通过 SQL 实现的逻辑，比如统一日期格式，使用 C#编写了程序去处理。曾尝试使用 pandas 处理，但数据量太大无法载入内存遂放弃。目前想要解决的问题是：- 剔除问题数据后，获取到修复的数据，为了防止混乱，我会把每次新获得的数据存在新表中单独再清洗一遍。但是清洗流程太多（有很多 SQL 语句，因为一条 SQL 只能清洗一列，列很多，还有 C#处理的部分），数据问题反馈后还有问题也是常见情况，数据库中就会有大量的表，虽然有做视图，但也大大增加了管理压力。尽管如此我也不想把各数据全部整理在一张表，总是会害怕越整越乱。- 因为不需要对数据进行聚合，也不会跨行查数，如果顺应人脑的思维逻辑的话，就是对每行的各个列字段应用特定的方法，然后逐行执行就可以。这样还可以多线程执行以及查看进度。遇到出问题的行也可以快速定位到。当然这个不是必要的，但我感觉会比数据库要简单直观。想问下各位前辈遇到这种情况一般如何处理？有没有比较合适的软件可以使用？
目前的方法是导入 PostgreSQL 进行清洗，遇到不容易通过 SQL 实现的逻辑，比如统一日期格式，使用 C#编写了程序去处理。曾尝试使用 pandas 处理，但数据量太大无法载入内存遂放弃。
目前想要解决的问题是：
- 剔除问题数据后，获取到修复的数据，为了防止混乱，我会把每次新获得的数据存在新表中单独再清洗一遍。但是清洗流程太多（有很多 SQL 语句，因为一条 SQL 只能清洗一列，列很多，还有 C#处理的部分），数据问题反馈后还有问题也是常见情况，数据库中就会有大量的表，虽然有做视图，但也大大增加了管理压力。尽管如此我也不想把各数据全部整理在一张表，总是会害怕越整越乱。
- 因为不需要对数据进行聚合，也不会跨行查数，如果顺应人脑的思维逻辑的话，就是对每行的各个列字段应用特定的方法，然后逐行执行就可以。这样还可以多线程执行以及查看进度。遇到出问题的行也可以快速定位到。当然这个不是必要的，但我感觉会比数据库要简单直观。
想问下各位前辈遇到这种情况一般如何处理？有没有比较合适的软件可以使用？