Problem gelöst:
und zwar war meine Vermutung schon richtig, dass "-mod" anders arbeitet, als wenn ich direkt alles in eine asset.dat packe, genauso eben bei der gamedata.ini.
Der -mod Befehl merged alles korrekt, soll heißen er löst auch probleme mit doppelten Daten selbständig.
Wenn ich aber hingegen mithilfe von Sy's Asset-Tool die art zb vom HD mod mit der asset.dat des original spiels verschmelze, dann enthält diese wohl auch doppelte assets.
Deshalb muss man, wenn man vorhandene art ersetzen will, die asset.dat komplett neu machen. Dh. man muss alle art Dateien (textures, w3d, terrain) des Spiels aus den big dateien entpacken (auch aus denen im apt ordner). Das hatte ich auch schon gemacht und mithilfe von Sy's Tool versucht, all diese Dateien zu einer neuen asset.dat zu verpacken, doch aus irgendeinem Grund lies sich das Spiel mit dieser nachgebauten asset.dat nicht starten.
Habe es nun stattdessen nochmal mit dem EA Assetbuilder versucht (den dll Fehler läst man, indem man die dll aus dem Spiel-installationsverzeichnis in den Ordner der builder exe packt) und mit diesem Builder hat es geklappt. Es gibt zwar einige Fehlermeldungen im error log, aber da die asset.dat zu funktionieren scheint, hoffe ich mal, dass diese Fehler normal sind.
In diesen art ORdner, welcher alle art vom Spiel enthält, kann man nun zb die art vom HD mod reinkopieren, und dabei doppelte einträge ersetzen lassen. Die darauf erstelle asset.dat funktioniert dann im Spiel

Sie muss direkt ins Spielverzeichnis kopiert werden, darf also nicht, wie dder art Ordner mit den HD-arts in eine big Datei verpackt werden.