BJS
Aktiv medlem
[OT] Datafrågor - En samlingstråd
Antigen nifi eller bara köra rsync scriptat. Det finns andra lösningar också såklart, men ibland är det enklast att ha kontrollen själv.Nån som är en fena på rclone (sync) (specifikt under linux, om det spelar roll)?
Det finns ju experter på allt här, så jag testar med en fråga istf att rtfm:a (https://rclone.org/filtering/)..
Jag har ett lokalt bildbibliotek på ca 70GB som jag skulle vilja synka mot två onlineproviders med 50GB tillgängligt var. Önskan är att sätta upp synkningar enligt följande:
Lokal katalog:
e:\Bilder
Synkningar:
1) Synka alla kataloger (och filer samt underkataloger däri) som matchar e:\Bilder\*dubbelsynk*) till provider 1 och 2.
2) Synka alla kataloger (och filer samt underkataloger däri) som matchar e:\Bilder\2021_* samt e:\Bilder\2022_*) till provider 1.
3) Synka de kataloger som ej ingår i 2) ovan till provider 2.
Kan även nämnas att de som matchas i synk1 även kan matcha i övriga, dvs det finns kataloger som heter 2021-01_Hej_dubbelsynk
Funderar på vad som är bäst väg.. kanske att först köra ett script som skapar filer med listor på katalogerna för de olika jobben, som jag sedan kan använda 'rclone sync --include-from fil_med_kataloger.txt'? Nån som gjort nåt liknande?
Apache NiFi
Apache NiFi is an easy to use, powerful, and reliable system to process and distribute data

