import os, re, sys, json, zlib, shutil, subprocess, collections
import os.path
ROOT = os.path.expanduser("~")
APPLY = "--apply" in sys.argv
ONLY = [a.split("=", 1)[1] for a in sys.argv if a.startswith("--only=")]
SITES = [l.strip() for l in open(os.path.expanduser("~/derachat-sites.txt")) if l.strip()]
if ONLY: SITES = [s for s in SITES if s in ONLY[0].split(",")]
BAK = ".bak-rachat-20261118"
EXT = (".php", ".html", ".htm", ".json", ".txt")
SKIPDIR = re.compile(r"(?:^|/)(?:tools|scripts|back|backkk|backup[^/]*|old|new|vendor|node_modules|storage|quarantine[^/]*|httpdocs-old[^/]*|communes-src[^/]*|\.git)(?:/|$)")
L = "A-Za-zÀ-ÿŒœ"
FR_TRIG = (r"on vous paie|on vous verse|vous verse[rz]? la différence|versons la différence|la différence vous est versée|versement (?:de la différence|du solde)|différence versée|reversons|"
           r"payons la (?:valeur|différence)|vous payons la différence|\brachat|\brachet|\bracheter|\brachète|nous achetons|achetons au comptant|"
           r"valeur (?:des|de vos) (?:objets|biens)|valeur du contenu|valeur rachetable|(?:3|trois) formules|des trois formules|débarras gratuit si|"
           r"déduite? (?:du|de notre|de la facture)|déduction du prix|offre d.achat|d.achat à part|achat séparé|objets revendables|antiques_f3")
NL_TRIG = r"\b(?:3|drie) formules|volgens de waarde|betalen (?:wij )?u het verschil|wij betalen u\b|bepaalt de waarde|betalen u de rest|wij kopen|opkopen|aankoop waardevolle"
TRIG = re.compile("(?:" + FR_TRIG + "|" + NL_TRIG + ")", re.I)
WHITE = re.compile(r"n.achetons rien|\$forbidden|formules 20\d\d|prix-3-formules|^\s*--", re.I)
WHITE_CS = re.compile(r"BLOC 3 FORMULES|3 FORMULES")
AP = r"(?:'|’|&#x27;|&#39;|&rsquo;|\')"
NLSITES = {"huisantwerpen","antwerpen","videflamad","inboedel-opruimen.be","leegmakenwoning.be","huis-leegmaken.com","opruimingsdienst-inboedel.be","opruimen-inboedel.be","leegmaken-huis.be","huis-leegmaken-gent.be"}
DEDIC = re.compile(r"rachat|opkop|antiek|antiquit|aankoop", re.I)
MAP = [
 (r"Service de [Dd]ébarras et [Rr]achat d.[Aa]ntiquités", "Service de Débarras et Devis Gratuit"),
 (r"[Dd]ébarras et [Rr]achat d.[Aa]ntiquités", "Débarras et Devis Gratuit"),
 (r",\s*rachat (?:antiquités|meubles)(?: [A-ZÀ-Ý][^,]*)?(?=,)", ""),
 (r"(?:[Ee]stimation gratuite|[Dd]evis gratuit|[Éé]valuation gratuite) et rachat (?:possible )?(?:d.antiquités|d.objets de valeur|de vos objets de valeur|à domicile)(?: possible)?", "Devis gratuit et prix ferme"),
 (r"Débarras, rachat d.antiquités et gestion", "Débarras, tri et gestion"),
 (r"vide grenier et rachat d.antiquités", "vide grenier et vide cave"),
 (r",? ou (?:encore )?rachat(?: d.antiquités)?(?=[.,;])", ""),
 (r"(?:Tarifs avantageux|Débarras complet, estimation gratuite) et rachat d.(?:antiquités|objets de valeur)(?: possible)?", "Débarras complet et devis gratuit"),
 (r"[Ll]es (?:3|trois) formules selon la valeur (?:de vos biens|du contenu|des biens|des objets)", "Un prix ferme, fixé avant le chantier"),
 (r"(?:3|trois) formules selon la valeur (?:de vos biens|du contenu|des biens|des objets)", "un prix ferme, fixé avant le chantier"),
 (r"débarras, rachat et devis gratuit", "débarras et devis gratuit"),
 (r"débarras et rachat\b", "débarras et devis gratuit"),
 (r"débarras complet, rachat d.objets anciens, tri et évacuation", "débarras complet, tri et évacuation"),
 (r"Débarras complet, tri et rachat d.objets", "Débarras complet et tri des objets"),
 (r"examiné pour un éventuel rachat", "trié avant le débarras"),
 (r"Rachat (?:de meubles et objets anciens|d.objets anciens|d.objets de valeur|des objets de valeur|de vos objets de valeur au meilleur prix)", "Tri, dons et réemploi"),
 (r"'antiques_f3' => 'Rachat équitable'", "'antiques_f3' => 'Tri soigné'"),
 (r"'Rachat des objets de valeur' => 'Aankoop waardevolle voorwerpen'", "'Rachat des objets de valeur' => 'Sorteren en hergebruik'"),
 (r"Nos (?:trois|3) [Ff]ormules", "Notre prix"), (r"[Nn]os 3 formules", "notre prix"), (r"(?:3|trois) formules, devis gratuit", "prix ferme, devis gratuit"), (r"3 formules, gratis offerte", "vaste prijs, gratis offerte"),
 (r"Quelle formule pour vous \? ", ""),
 (r",? valeur (?:du réutilisable|des objets réutilisables) déduite du prix", ", prix ferme dans le devis"),
 (r"(?:avec|met) (?:3|drie) formules volgens de waarde van (?:uw spullen|de inboedel)", "met een vaste prijs in de offerte"),
 (r"(?:3|drie) formules volgens de waarde van (?:uw spullen|de inboedel)", "een vaste prijs, vooraf bepaald"),
 (r"(?:3|drie) formules volgens de waarde", "vaste prijs in de offerte"),
 (r"Bekijk onze 3 formules", "Bekijk onze prijzen"), (r"Onze 3 formules", "Onze prijzen"), (r"onze 3 formules", "onze prijzen"),
 (r"\bde 3 formules", "de prijs"), (r"Prijzen: 3 formules", "Prijzen: vaste prijs"),
 (r"Le rachat : ce qui peut faire baisser la facture", "Ce qui fait varier le prix"),
 (r"Ce que nous évacuons, et ce que nous rachetons", "Ce que nous évacuons, et comment nous trions"),
 (r"Un prix qui tient compte du rachat", "Un prix ferme, écrit dans le devis"),
 (r", rachat déduit du prix", ", prix ferme dans le devis"),
 (r" ; rachat des objets de valeur déduit du prix", " ; prix ferme dans le devis"),
 (r",? (?:et )?(?:surtout )?de la valeur des objets(?: que nous rachetons| présents)?(?=$|[.;,])", " et du tri à faire"),
]
MAP = [(re.compile(a.replace("d.[Aa]ntiquit", "d"+AP+"[Aa]ntiquit").replace("d.antiquit", "d"+AP+"antiquit").replace("d.objets", "d"+AP+"objets").replace("d.achat","d"+AP+"achat")), b) for a, b in MAP]
POOL_FR = ["Le prix est ferme : il est écrit dans le devis, après une visite gratuite ou l’envoi de photos",
           "Le montant dépend du volume, de l’accès et du tri à faire ; il est fixé dans un devis écrit, avant le chantier",
           "Le prix est fixé à l’avance dans un devis écrit : pas de supplément le jour J si le contenu correspond à ce qui a été vu"]
POOL_FR_TRI = "Ce qui peut resservir part en don ou en réemploi, le reste est trié et recyclé"
POOL_NL = ["De prijs ligt vast: hij staat in de offerte, na een gratis bezoek of op basis van foto’s",
           "De prijs hangt af van het volume, de toegang en het sorteerwerk en staat vooraf in een schriftelijke offerte"]
Q_FR, Q_NL = "Comment le prix est-il fixé ", "Hoe wordt de prijs bepaald"
LAB_FR, LAB_NL = "Un prix ferme, fixé dans le devis", "Vaste prijs in de offerte"
APOS_OK = "(?<=[" + L + "])'(?=[" + L + "])"
RUN = re.compile("(?:[^<>\"\n\r.!?{}'\\\\]|\\\\'(?=[" + L + "])|\\\\(?!')|" + APOS_OK + ")+")
NLW = re.compile(r"\b(?:het|een|uw|wij|van|voor|met|na|bij|wordt|ons|onze|laten|of|leegmaken|woning|offerte|waarde)\b", re.I)
FRW = re.compile(r"\b(?:le|la|les|des|du|vous|nous|est|une|pour|dans|vos|votre)\b", re.I)
lt = open(os.path.expanduser("~/liege-ref.html"), encoding="utf8").read()
a = lt.index('<ul class="f3-grid"'); F3UL = lt[a:lt.index("</ul>", a) + 5]
F3_SUB = "Le coût d’un vide-maison dépend surtout du volume à évacuer, de l’accès et du tri à faire. Après une visite gratuite ou l’envoi de photos, vous recevez un devis écrit."
F3_NOTE = "Comment est calculé le prix ? Le volume, l’accès (étages, ascenseur, distance jusqu’au camion), le tri et le nettoyage demandé. Le montant est écrit dans le devis, avant tout engagement."
T_FR = ["Visite ou photos", "Devis écrit", "Vous décidez"]
P_FR = ["Nous évaluons sur place, ou à partir de vos photos, le volume, les étages et ce qui doit partir.",
        "Le devis décrit le travail : pièces concernées, évacuation, tri et nettoyage éventuel, avec un prix ferme.",
        "Vous connaissez le montant avant tout engagement. Le chantier n’est planifié qu’après votre accord sur le devis."]
T_NL = ["Bezoek of foto’s", "Schriftelijke offerte", "U beslist"]
P_NL = ["We bekijken ter plaatse, of aan de hand van uw foto’s, het volume, de verdiepingen en wat weg moet.",
        "De offerte beschrijft het werk: welke ruimtes, afvoer, sortering en eventuele schoonmaak, met een vaste prijs.",
        "U kent het bedrag vóór elke verbintenis. We plannen pas na uw akkoord op de offerte."]
TAG_NL = ["Gratis, vrijblijvend", "Vaste prijs", "Prijs in de offerte"]
NL_UL = F3UL.replace('aria-label="Comment le prix est fixé"', 'aria-label="Hoe de prijs wordt bepaald"')
for a_, b_ in zip(T_FR + P_FR + ["Gratuit, sans engagement", "Prix ferme", "Prix fixé dans le devis"], T_NL + P_NL + TAG_NL):
    NL_UL = NL_UL.replace(">" + a_ + "<", ">" + b_ + "<")
NL_SUB = "De kosten hangen vooral af van het volume, de toegang en het sorteerwerk. Na een gratis bezoek of foto’s krijgt u een schriftelijke offerte."
NL_NOTE = "Hoe wordt de prijs berekend? Volume, toegang (verdiepingen, lift, afstand tot de wagen), sortering en gevraagde schoonmaak. Het bedrag staat in de offerte, vóór elke verbintenis."
HEADS = {"Débarras gratuit": (0, "fr"), "On vous paie": (1, "fr"), "Vous payez": (2, "fr"),
         "Gratis leegmaak": (0, "nl"), "Wij betalen u": (1, "nl"), "U betaalt": (2, "nl")}
TAGS = {"Vous ne payez rien": "Gratuit, sans engagement", "0 € à payer": "Gratuit, sans engagement",
        "Nous vous versons la différence": "Prix ferme", "Le solde vous revient": "Prix ferme", "La différence vous est versée": "Prix ferme",
        "Montant fixé d’avance": "Prix fixé dans le devis",
        "U betaalt niets": "Gratis, vrijblijvend", "Wij betalen u het verschil": "Vaste prijs"}
ICONS = {"fa-money-bill-wave": "fa-file-lines", "ri-hand-coin-line": "ri-file-text-line"}
def struct(t, st):
    def ul(m):
        g = m.group(0)
        if "On vous paie" in g: st["f3_ul"] += 1; return F3UL
        if "Wij betalen u" in g: st["f3_ul"] += 1; return NL_UL
        return g
    t = re.sub(r'<ul class="f3-grid".*?</ul>', ul, t, flags=re.S)
    if re.search(r">\s*(?:On vous paie|Wij betalen u)\s*<", t):
        def hd(m):
            k, lang = HEADS[m.group(2)]
            T, P = (T_FR, P_FR) if lang == "fr" else (T_NL, P_NL)
            st["cards"] += 1
            return m.group(1) + T[k] + m.group(3) + m.group(4) + m.group(5) + P[k] + m.group(7)
        t = re.sub(r"(<h[34][^>]*>\s*)(" + "|".join(HEADS) + r")(\s*</h[34]>)(\s*)(<p\b[^>]*>)(.*?)(</p>)", hd, t, flags=re.S)
        t = re.sub(r"(<h[34][^>]*>\s*)(On vous paie|Wij betalen u)(\s*</h[34]>)", lambda m: m.group(1) + ("Devis écrit" if m.group(2) == "On vous paie" else "Schriftelijke offerte") + m.group(3), t)
        for a_, b_ in TAGS.items(): t = re.sub(r"(>(?:\s*<i[^>]*></i>)?\s*)" + re.escape(a_) + r"(\s*<)", lambda m, b_=b_: m.group(1) + b_ + m.group(2), t)
        for a_, b_ in ICONS.items(): t = t.replace(a_, b_)
    for cls, fr, nl in (("f3-sub", F3_SUB, NL_SUB), ("f3-note", F3_NOTE, NL_NOTE)):
        def r(m, fr=fr, nl=nl):
            g = m.group(2)
            if TRIG.search(g) or re.search(r"formule|valeur|waarde", g):
                st["f3_p"] += 1; return m.group(1) + (nl if re.search(r"\b(?:de|het|uw|waarde)\b", g) else fr) + "</p>"
            return m.group(0)
        t = re.sub(r'(<p class="' + cls + r'"[^>]*>)(.*?)</p>', r, t, flags=re.S)
    return t.replace('aria-label="Les 3 formules"', 'aria-label="Comment le prix est fixé"').replace('aria-label="De 3 formules"', 'aria-label="Hoe de prijs wordt bepaald"')
def replace_runs(t, st, samples, path):
    global LANG
    site = path.split("/")[0]
    LANG = "nl" if site in NLSITES or re.search(r"/nl2?/|lang/nl", path) else ("?" if site in ("vide-maison-aab.be","videmaison-videtout.be") else "fr")
    out = []; last = 0; prev = None; prev_end = -1
    for m in RUN.finditer(t):
        s = m.group(0)
        if not TRIG.search(s) or WHITE.search(s) or WHITE_CS.search(s): continue
        s2 = s
        for rx, rep in MAP: s2 = rx.sub(rep, s2)
        if TRIG.search(s2):
            core = s2.strip(); lead = re.match(r"^[\s:;,\-–—*•]*", s2).group(0); trail = re.search(r"\s*$", s2).group(0)
            nxt = t[m.end():m.end() + 1]
            nl = LANG == "nl" or (LANG == "?" and len(NLW.findall(core)) > len(FRW.findall(core)))
            if nxt == "?": rep = Q_NL.rstrip() if nl else Q_FR
            elif len(core) < 70: rep = LAB_NL if nl else LAB_FR
            elif not nl and re.search(r"\bdon|recycl|réemploi|évacu", core): rep = POOL_FR_TRI
            else:
                pool = POOL_NL if nl else POOL_FR; rep = pool[zlib.crc32(core.encode()) % len(pool)]
            if rep == prev and re.sub(r"<[^>]+>|\s|[.;:,\-•*]", "", t[prev_end:m.start()]) == "": rep = ""
            s2 = lead + rep + trail; prev = rep; prev_end = m.end(); st["phrases"] += 1
        else:
            st["map"] += 1
        if len(samples) < 6000: samples.append((path, s.strip()[:240], s2.strip()[:170]))
        out.append(t[last:m.start()]); out.append(s2); last = m.end()
    out.append(t[last:]); t = "".join(out)
    t = re.sub(r"<(li|p|strong|b|span)[^>]*>\s*</>\s*", "", t)
    return re.sub(r"(?<=[>\s])\.\s+(?=<)", "", t) if False else t
def lint(p, new):
    if p.endswith(".php"):
        tmp = "/tmp/_lint_%d.php" % os.getpid(); open(tmp, "w", encoding="utf8").write(new)
        r = subprocess.run(["php", "-l", tmp], capture_output=True, text=True); os.remove(tmp)
        return r.returncode == 0
    if p.endswith(".json"):
        try: json.loads(new); return True
        except Exception: return False
    return True
DED = []
stats = collections.Counter(); per = collections.Counter(); samples = []; bad = []; changed = []
for site in SITES:
    base = os.path.join(ROOT, site)
    for dp, dn, fn in os.walk(base):
        rel = dp[len(base):]
        if SKIPDIR.search(rel): dn[:] = []; continue
        for f in fn:
            if not f.endswith(EXT) or ".bak" in f or re.match(r"\d{3,}", f): continue
            if DEDIC.search(f): DED.append(os.path.join(dp, f)); continue
            p = os.path.join(dp, f)
            try:
                if os.path.getsize(p) > 15_000_000: continue
                t = open(p, encoding="utf8").read()
            except Exception: continue
            if not TRIG.search(t): continue
            st = collections.Counter()
            masks = []
            def mk(m):
                masks.append(m.group(0)); return "<§M%d§>" % (len(masks) - 1)
            tm = re.sub(r"<!--.*?-->", mk, t, flags=re.S)
            if p.endswith(".php"): tm = re.sub(r"(?ms)/\*.*?\*/|^[ \t]*//[^\n]*", mk, tm)
            tm = struct(tm, st)
            tm = re.sub(r"""(?i)\b(?:src|href|srcset|data-[\w-]+|action|poster|id|class|for|name|itemid|itemtype)\s*=\s*(?:"[^"]*"|'[^']*')|url\([^)]*\)|"(?:url|image|@id|logo|sameAs|item|contentUrl|thumbnailUrl|@type)"\s*:\s*"[^"]*"|'(?:img|image|url|href|src|slug|file)'\s*=>\s*'[^']*'|[\w./-]+\.(?:webp|jpe?g|png|svg|gif|php|html?)\b""", mk, tm)
            new = replace_runs(tm, st, samples, p[len(ROOT) + 1:])
            for _ in range(5):
                if "<§M" not in new: break
                new = re.sub(r"<§M(\d+)§>", lambda m: masks[int(m.group(1))], new)
            if new == t: continue
            if not lint(p, new):
                bad.append(p); open("/tmp/bad_" + site + "_" + f, "w", encoding="utf8").write(new); continue
            stats.update(st); per[site] += 1; changed.append(p)
            if APPLY:
                if not os.path.exists(p + BAK): shutil.copy2(p, p + BAK)
                open(p, "w", encoding="utf8", newline="").write(new)
print("FICHIERS", len(changed), "ERREURS_SYNTAXE", len(bad), dict(stats), "APPLY" if APPLY else "DRY")
for s, n in per.most_common(): print("  %4d %s" % (n, s))
for b in bad: print("BAD", b)
for d in DED: print("DEDIE", d)
json.dump(samples, open(os.path.expanduser("~/derachat-samples.json"), "w"), ensure_ascii=False, indent=0)
open(os.path.expanduser("~/derachat-changed.txt"), "w").write("\n".join(changed))
