fix of the json upload format

Web/app.py

@@ -11862,6 +11862,37 @@ def batch_upload_page():
 
     return render_template('upload_batch.html')
 
+def clean_db_field(val):
+    """Bereinigt Werte, die fälschlicherweise als String-Listen oder mit Klammern aus der CSV kommen."""
+    import ast
+    import pandas as pd
+
+    if not val or pd.isna(val):
+        return None
+
+    val_str = str(val).strip()
+
+    # Wenn es wie eine Liste aussieht (z.B. "['100177']" oder "['']")
+    if val_str.startswith("[") and val_str.endswith("]"):
+        try:
+            parsed = ast.literal_eval(val_str)
+            if isinstance(parsed, list):
+                # Nimm das erste Element der Liste, wenn vorhanden
+                for item in parsed:
+                    cleaned_item = str(item).strip()
+                    if cleaned_item and cleaned_item not in ("", "''", '""', "None", "nan"):
+                        return cleaned_item
+                return None
+        except Exception:
+            # Fallback bei Syntaxfehlern
+            inner = val_str[1:-1].strip().replace("'", "").replace('"', '')
+            return inner if inner and inner not in ("''", '""') else None
+
+    if val_str in ("[]", "['']", '[""]', "nan", "None", "''", '""'):
+        return None
+
+    return val_str
+
 
 
 @app.route('/upload_csv_batch', methods=['POST'])
@@ -11878,13 +11909,6 @@ def upload_csv_batch():
     username = session.get('username', 'System')
 
     def generate_unique_batch_code(base_code, position):
-        """
-        Generiert einen eindeutigen Code für einen Artikel innerhalb einer Serie (Batch).
-
-        :param base_code: Der Code des ersten Artikels in der Gruppe (String oder None).
-        :param position: Die Position des aktuellen Artikels in der Gruppe (Integer).
-        :return: Ein eindeutiger Code als String.
-        """
         if base_code:
             return f"{base_code}-{position}"
         else:
@@ -11913,8 +11937,8 @@ def upload_csv_batch():
         return jsonify({"success": False, "message": "Die CSV muss zwingend eine 'Name' Spalte enthalten."}), 400
 
     # 3. Bilder verarbeiten & Duplikate im selben Durchlauf filtern (Hash-Matching)
-    image_mapping = {}      # Original-Dateiname (ohne Ext) -> GridFS Filename (.webp)
-    processed_hashes = {}   # SHA-256 Hash -> GridFS Filename (.webp)
+    image_mapping = {}
+    processed_hashes = {}
     processed_count = 0
     dedup_count = 0
     error_count = 0
@@ -11934,18 +11958,14 @@ def upload_csv_batch():
                 error_count += 1
                 continue
 
-            # SHA-256 Hash des Bildinhalts zur Erkennung identischer Bilder
             img_hash = hashlib.sha256(image_bytes).hexdigest()
 
             if img_hash in processed_hashes:
-                # Bild ist identisch zu einem bereits verarbeiteten Bild im selben Batch
                 existing_filename = processed_hashes[img_hash]
                 image_mapping[base_name_no_ext] = existing_filename
                 dedup_count += 1
-                app.logger.info(f"{image_log_prefix} Duplikat erkannt ({original_secure_name}). Wiederverwendung von: {existing_filename}")
                 continue
 
-            # Neues Bild verarbeiten und nach WebP konvertieren
             optimized_io = io.BytesIO()
             with Image.open(io.BytesIO(image_bytes)) as img:
                 if img.mode not in ('RGB', 'RGBA'):
@@ -11962,8 +11982,7 @@ def upload_csv_batch():
             optimized_io.seek(0)
             new_filename = f"{uuid.uuid4().hex}_{int(time.time())}.webp"
 
-            # In GridFS speichern
-            file_id = fs.put(
+            fs.put(
                 optimized_io,
                 filename=new_filename,
                 content_type='image/webp',
@@ -11974,7 +11993,6 @@ def upload_csv_batch():
                 }
             )
 
-            # In Hash-Tabelle und Mapping sichern
             processed_hashes[img_hash] = new_filename
             image_mapping[base_name_no_ext] = new_filename
             processed_count += 1
@@ -11989,8 +12007,8 @@ def upload_csv_batch():
     except Exception:
         predefined_locations = []
 
-    # 5. Dataframe bereinigen & gruppieren
-    df['Name'] = df['Name'].fillna('Unbenannt').astype(str)
+    # 5. Dataframe bereinigen
+    df['Name'] = df['Name'].fillna('Unbenannt').astype(str).str.strip()
     df = df.fillna({
         'Ort': 'Unbekannt',
         'Beschreibung': '',
@@ -11999,21 +12017,28 @@ def upload_csv_batch():
         'Anschaffungskosten': ''
     })
 
-    created_item_ids = []
-    grouped_items = df.groupby('Name')
+    # --- WICHTIG: Gruppierung über einen normalisierten Schlüssel ermöglichen ---
+    # Erstellt eine unsichtbare Hilfsspalte, die Leerzeichen/Groß-Kleinschreibung ignoriert,
+    # damit identische Artikel-Typen sauber als Serie erkannt werden.
+    df['GroupKey'] = df['Name'].str.lower()
 
-    for name, group in grouped_items:
+    created_item_ids = []
+    grouped_items = df.groupby('GroupKey')
+
+    for group_key, group in grouped_items:
         item_count = len(group)
         series_group_id = str(uuid.uuid4()) if item_count > 1 else None
         parent_item_id = None
 
+        # Originalen Namen des ersten Elements der Gruppe übernehmen
+        actual_group_name = group.iloc[0]['Name']
+
         # Basis-Code für automatisierte Seriencodes ermitteln
-        first_row_code = str(group.iloc[0].get('Code_4', '')).strip()
+        first_row_code = clean_db_field(group.iloc[0].get('Code_4', ''))
         base_code = first_row_code if first_row_code else None
 
         for position, (index, row) in enumerate(group.iterrows(), start=1):
 
-            # Ort automatisch zu predefined_locations hinzufügen, falls neu
             ort_val = str(row['Ort']).strip()
             if ort_val and ort_val not in predefined_locations:
                 try:
@@ -12022,7 +12047,7 @@ def upload_csv_batch():
                 except Exception as e:
                     app.logger.warning(f"Ort {ort_val} konnte nicht hinzugefügt werden: {e}")
 
-            # Bilder für diesen Artikel zuordnen
+            # Bilder zuordnen und pro Artikel deduplizieren
             item_image_filenames = []
             if 'Images' in row and pd.notna(row['Images']):
                 try:
@@ -12032,19 +12057,13 @@ def upload_csv_batch():
                             base_img_name = os.path.splitext(img_name)[0]
                             if base_img_name in image_mapping:
                                 item_image_filenames.append(image_mapping[base_img_name])
-                            else:
-                                app.logger.warning(f"Bild {img_name} in CSV definiert, aber nicht hochgeladen.")
                 except (ValueError, SyntaxError):
                     pass
 
-            # --- NEU: BILDER-REFERENZEN PRO ARTIKEL DEDUPLIZIEREN ---
-            # Falls die CSV z.B. ['bild1.jpg', 'bild1.jpg'] enthält, filtern wir das hier heraus,
-            # damit die GridFS-Datei nicht doppelt als Referenz gespeichert wird.
             unique_image_filenames = []
             for img in item_image_filenames:
                 if img not in unique_image_filenames:
                     unique_image_filenames.append(img)
-            # --------------------------------------------------------
 
             def parse_filter_col(col_data):
                 try:
@@ -12059,26 +12078,28 @@ def upload_csv_batch():
 
             reservierbar = bool(row.get('Reservierbar', False))
 
-            # Code_4 Behandlung: Falls in CSV definiert nutzen, sonst Batch-Code erzeugen
-            row_code = str(row.get('Code_4', '')).strip()
+            # Code_4 / Barcode sauber extrahieren und bereinigen
+            raw_code = row.get('Code_4') or row.get('Barcode') or ''
+            row_code = clean_db_field(raw_code)
+
             if row_code:
                 unique_code = row_code
-            elif 'generate_unique_batch_code' in globals():
+            elif item_count > 1:
                 unique_code = generate_unique_batch_code(base_code, position)
             else:
                 unique_code = None
 
-            # DB Insert (exakt abgestimmt auf die 10 positionellen Argumente)
+            # DB Insert
             item_id = it.add_item(
-                str(row['Name']),                             # 1. Name
+                str(actual_group_name),                       # 1. Name
                 ort_val,                                      # 2. Ort
                 str(row['Beschreibung']),                     # 3. Beschreibung
-                unique_image_filenames,                       # 4. Image Filenames (GridFS) -> HIER GEÄNDERT
+                unique_image_filenames,                       # 4. Image Filenames (GridFS)
                 filter_upload,                                # 5. Filter 1
                 filter_upload2,                               # 6. Filter 2
                 filter_upload3,                               # 7. Filter 3
-                str(row['Anschaffungsjahr']) if row['Anschaffungsjahr'] else None,   # 8. Jahr
-                str(row['Anschaffungskosten']) if row['Anschaffungskosten'] else None, # 9. Kosten
+                clean_db_field(row.get('Anschaffungsjahr')),  # 8. Jahr
+                clean_db_field(row.get('Anschaffungskosten')),# 9. Kosten
                 unique_code,                                  # 10. Unique Code / Code_4
                 reservierbar=reservierbar,
                 series_group_id=series_group_id,
@@ -12097,16 +12118,11 @@ def upload_csv_batch():
                 if position == 1:
                     parent_item_id = str(item_id)
             else:
-                app.logger.error(f"Fehler beim Erstellen von Item: {row['Name']} (Index {index})")
-
-    app.logger.info(
-        f"Batch Upload abgeschlossen: {len(created_item_ids)} Items erstellt. "
-        f"{processed_count} neue Bilder hochgeladen, {dedup_count} Bild-Duplikate zusammengeführt."
-    )
+                app.logger.error(f"Fehler beim Erstellen von Item: {actual_group_name} (Index {index})")
 
     return jsonify({
         "success": True,
-        "message": f"Upload erfolgreich. {len(created_item_ids)} Items importiert. {processed_count} neue Bilder gespeichert ({dedup_count} Duplikate zusammengeführt).",
+        "message": f"Upload erfolgreich. {len(created_item_ids)} Items importiert.",
         "created_count": len(created_item_ids),
         "images_processed": processed_count,
         "images_deduplicated": dedup_count,

Web/templates/upload_batch.html

@@ -221,6 +221,7 @@ document.getElementById('batchUploadForm').addEventListener('submit', async func
 
             log(`Batch ${b + 1}: ${batchRows.length} Items & ${requiredImagesForBatch.size} zugehörige Bilder.`);
 
+            // Request absenden
             const response = await fetch('/upload_csv_batch', {
                 method: 'POST',
                 body: formData,
@@ -229,13 +230,23 @@ document.getElementById('batchUploadForm').addEventListener('submit', async func
                 }
             });
 
-            const result = await response.json();
+            // 1. Antwort als rohen Text auslesen (verhindert den JSON.parse Crash)
+            const responseText = await response.text();
+            let result;
+
+            try {
+                result = JSON.parse(responseText);
+            } catch (parseErr) {
+                // Wenn der Server kein JSON schickt (z.B. Python 500 Error als HTML-Seite)
+                console.error("Server-Antwort war kein JSON:", responseText);
+                throw new Error(`Server-Fehler (Status ${response.status}). Der Server hat ein HTML-Dokument statt JSON zurückgegeben. Prüfe die Flask-Konsole!`);
+            }
 
             if (!response.ok || !result.success) {
                 throw new Error(result.message || `Server-Fehler ${response.status}`);
             }
 
-            log(`Batch ${b + 1} abgeschlossen.`);
+            log(`Batch ${b + 1} abgeschlossen: ${result.message}`);
             progressBar.value = b + 1;
         }