我认为你是在 linux 下面哈,原谅我 sed 用的不太熟.
g@iMac ~ ~ ? cat a.txt
1
2
2
3
g@iMac ~ ? sort a.txt|uniq|xargs -I {} echo "INSERT INTO table_name (column, value) VALUES ('固定的', {});" >> b.sql
g@iMac ~ ~ ? cat b.sql
INSERT INTO table_name (column, value) VALUES ('固定的', 1);
INSERT INTO table_name (column, value) VALUES ('固定的', 2);
INSERT INTO table_name (column, value) VALUES ('固定的', 3);
关于批量导入大数据的场景,我的建议是,先删掉所有的索引,然后导入数据,数据导入完成之后再加回索引,这样快多了, 不然带索引插入,索引不停的分裂重建,效率不会太高的.
唯一索引的话,也一样,后建立,最好能在数据源层面就先去掉冲突的数据. 像上面的数据源,第一步我就排序去重了.如果你是从别的数据库里查询导出的,查询时做个聚合去重再导出就好了.
与恶龙缠斗过久,自身亦成为恶龙;凝视深渊过久,深渊将回以凝视…