extended-request.ts

@@ -303,8 +303,4 @@ export default class ExtendedRequest {
       connection: "443",
     };
   }
-
-  getMaxPriority() {
-    return Math.max(...this.stolenData.map((entry) => entry.getPriority()));
-  }
 }

report-window/domain-summary.tsx

@@ -1,10 +1,6 @@
 import React from "react";
 import { RequestCluster } from "../request-cluster";
-import {
-  Classifications,
-  Sources,
-  StolenDataEntry,
-} from "../stolen-data-entry";
+import { Classifications, Sources } from "../stolen-data-entry";
 
 const emailClassifications: Record<keyof typeof Classifications, string> = {
   id: "sztucznie nadane mi ID",
@@ -29,10 +25,11 @@ export default function DomainSummary({
       Właścicielowi domeny <strong>{cluster.id}</strong> zostały ujawnione:{" "}
       <ul>
         <li>Mój adres IP</li>
-        {cluster.representativeStolenData
+        {cluster
+          .getRepresentativeStolenData()
           .filter((entry) => entry.isMarked)
           .map((entry) => (
-            <li key={entry.id}>
+            <li>
               {emailClassifications[entry.classification]}{" "}
               {emailSources[entry.source]} (nazwa: <code>{entry.name}</code>,{" "}
               wartość: <code>{entry.getValuePreview()}</code>)

report-window/email-template-2.tsx

@@ -192,20 +192,18 @@ export default function EmailTemplate2({
             .
           </>
         ) : (
-          <>
-            o ile po wejściu na stronę wcisnąłem w wyskakującym okienku przycisk
-            „{config.popup_accept_all_text}”, o tyle nie stanowi to według mnie
-            ważnej w świetle RODO zgody, gdyż brakowało w tym okienku równie
-            łatwo osiągalnego przycisku, którego kliknięcie skutkowałoby
-            zasygnalizowaniem braku mojej zgody na takie przetwarzanie moich
-            danych. Mówiąc wprost &mdash; wyrażenie „zgody” było łatwiejsze niż
-            jej niewyrażenie. Niewyrażenie zgody wiąże się z negatywną
-            konsekwencją konieczności przechodzenia przez dodatkowe kroki w
-            wyskakującym okienku. Zatem tak otrzymana przez Państwo moja „zgoda”
-            nie jest poprawną podstawą prawną do przetwarzania moich danych
-            osobowych, gdyż nie spełnia warunku dobrowolności wspomnianego w
-            Art. 4. pkt 11. RODO.
-          </>
+          /* HTML */ `o ile po wejściu na stronę wcisnąłem w wyskakującym
+          okienku przycisk „${config.popup_accept_all_text}”, o tyle nie stanowi
+          to według mnie ważnej w świetle RODO zgody, gdyż brakowało w tym
+          okienku równie łatwo osiągalnego przycisku, którego kliknięcie
+          skutkowałoby zasygnalizowaniem braku mojej zgody na takie
+          przetwarzanie moich danych. Mówiąc wprost &mdash; wyrażenie „zgody”
+          było łatwiejsze niż jej niewyrażenie. Niewyrażenie zgody wiąże się z
+          negatywną konsekwencją konieczności przechodzenia przez dodatkowe
+          kroki w wyskakującym okienku. Zatem tak otrzymana przez Państwo moja
+          „zgoda” nie jest poprawną podstawą prawną do przetwarzania moich
+          danych osobowych, gdyż nie spełnia warunku dobrowolności wspomnianego
+          w Art. 4. pkt 11. RODO.`
         )}{" "}
         Za zgodę nie można też uznać posiadania włączonej obsługi cookies w
         przeglądarce, jakichkolwiek innych ustawień przeglądarki, ani pasywnych
@@ -382,5 +380,4 @@ export default function EmailTemplate2({
       </p>
     </>
   );
-  return result;
 }

report-window/har-converter.tsx

@@ -22,36 +22,9 @@ function handleNewFile(
 }
 
 function generateFakeHAR(entries: StolenDataEntry[]) {
-  const requests = unique(entries.map((entry) => entry.request))
-    .sort((request1, request2) => {
-      if (request1.shorthost < request2.shorthost) {
-        return -1;
-      } else if (request1.shorthost > request2.shorthost) {
-        return 1;
-      } else {
-        return request2.getMaxPriority() - request1.getMaxPriority();
-      }
-    })
-    .filter((_, index, array) => {
-      if (index !== 0 && array[index].shorthost == array[index - 1].shorthost) {
-        return false;
-      }
-      return true;
-    })
-    .sort(
-      (entry1, entry2) => entry2.getMaxPriority() - entry1.getMaxPriority()
-    );
-
-  console.log(
-    "GENERATEHAR! Got",
-    entries.length,
-    "entries, ",
-    unique(entries.map((e) => e.request)),
-    "requests. Filtered down to",
-    requests.length,
-    "requests"
-  );
-
+  const requests = entries
+    .sort((entry1, entry2) => entry2.getPriority() - entry1.getPriority())
+    .map((entry) => entry.request);
   return {
     log: {
       version: "1.2",
@@ -74,7 +47,7 @@ function generateFakeHAR(entries: StolenDataEntry[]) {
           },
         },
       ],
-      entries: requests.map((r) => r.toHAR()),
+      entries: unique(requests).map((r) => r.toHAR()),
     },
   };
 }

report-window/report-window.tsx

@@ -1,123 +1,90 @@
-import React, { useEffect, useState } from "react";
+import React from "react";
 import ReactDOM from "react-dom";
 import { getMemory } from "../memory";
-import { Classifications, StolenDataEntry } from "../stolen-data-entry";
+import { Classifications } from "../stolen-data-entry";
 import { reduceConcat, useEmitter } from "../util";
 import EmailTemplate from "./email-template";
 import HARConverter from "./har-converter";
 
-function DataPreview({
-  entries,
-  refresh,
-}: {
-  entries: StolenDataEntry[];
-  refresh: () => void;
-}) {
-  // currently not used, maybe scraped entirely in the future
-  return (
-    <table>
-      <thead>
-        <tr>
-          <th>Adres docelowy</th>
-          <th>Źródło danych</th>
-          <th>Treść danych</th>
-          <th>Klasyfikacja</th>
-        </tr>
-      </thead>
-      <tbody>
-        {entries.map((entry) => (
-          <tr
-            key={entry.id}
-            style={{
-              backgroundColor:
-                entry.classification == "id" ? "yellow" : "white",
-            }}
-          >
-            <td>{entry.request.shorthost}</td>
-            <td style={{ overflowWrap: "anywhere" }}>
-              {entry.source}:{entry.name}
-            </td>
-            <td
-              style={{
-                width: "400px",
-                overflowWrap: "anywhere",
-                backgroundColor: entry.isRelatedToID() ? "#ffff0054" : "white",
-              }}
-            >
-              {entry.getValuePreview()}
-              {/* always gonna have
-                one key, because unwrapEntry is called above */}
-            </td>
-            <td>
-              <select
-                value={entry.classification}
-                onChange={(e) => {
-                  entry.classification = e.target
-                    .value as keyof typeof Classifications;
-                  refresh();
-                }}
-              >
-                {[
-                  ["history", "Historia przeglądania"],
-                  ["id", "Sztucznie nadane id"],
-                  ["location", "Lokalizacja"],
-                ].map(([key, name]) => (
-                  <option key={key} value={key}>
-                    {name}
-                  </option>
-                ))}
-              </select>
-            </td>
-          </tr>
-        ))}
-      </tbody>
-    </table>
-  );
-}
-
 function Report() {
-  console.time("getOrigin");
   const origin = new URL(document.location.toString()).searchParams.get(
     "origin"
   );
-  console.timeEnd("getOrigin");
-  console.time("useMemory");
   const [counter, setCounter] = useEmitter(getMemory());
-  console.timeEnd("useMemory");
   function refresh() {
     setCounter((c) => c + 1);
   }
-  console.time("getClustersForOrigin");
   const clusters = getMemory().getClustersForOrigin(origin);
-  console.timeEnd("getClustersForOrigin");
-  const [entries, setEntries] = useState<StolenDataEntry[]>([]);
-  console.time("useEffect report-window");
-  useEffect(() => {
-    setEntries(
-      Object.values(clusters)
-        .map((cluster) => {
-          cluster.calculatetRepresentativeStolenData();
-          return cluster.representativeStolenData;
-        })
-        .reduce(reduceConcat, [])
-        .filter((entry) => entry.isMarked)
-    );
-  }, []);
-  console.timeEnd("useEffect report-window");
-  if (entries.length == 0) {
-    return <>Wczytywanie...</>;
-  }
-  console.time("rendering template");
-  const result = (
+  const entries = Object.values(clusters)
+    .map((cluster) => cluster.getRepresentativeStolenData())
+    .reduce(reduceConcat, [])
+    .filter((entry) => entry.isMarked);
+  return (
     <div {...{ "data-version": counter }}>
-      {/*<DataPreview {...{entries, refresh}} */}
       <h1>Generuj treść maila dla {origin}</h1>
+      <table>
+        <thead>
+          <tr>
+            <th>Adres docelowy</th>
+            <th>Źródło danych</th>
+            <th>Treść danych</th>
+            <th>Klasyfikacja</th>
+          </tr>
+        </thead>
+        <tbody>
+          {entries.map((entry) => (
+            <tr
+              key={entry.id}
+              style={{
+                backgroundColor:
+                  entry.classification == "id" ? "yellow" : "white",
+              }}
+            >
+              <td>{entry.request.shorthost}</td>
+              <td style={{ overflowWrap: "anywhere" }}>
+                {entry.source}:{entry.name}
+              </td>
+              <td
+                style={{
+                  width: "400px",
+                  overflowWrap: "anywhere",
+                  backgroundColor: entry.isRelatedToID()
+                    ? "#ffff0054"
+                    : "white",
+                }}
+              >
+                {entry.getValuePreview()}
+                {/* always gonna have
+                one key, because unwrapEntry is called above */}
+              </td>
+              <td>
+                <select
+                  value={entry.classification}
+                  onChange={(e) => {
+                    entry.classification = e.target
+                      .value as keyof typeof Classifications;
+                    refresh();
+                  }}
+                >
+                  {[
+                    ["history", "Historia przeglądania"],
+                    ["id", "Sztucznie nadane id"],
+                    ["location", "Lokalizacja"],
+                  ].map(([key, name]) => (
+                    <option key={key} value={key}>
+                      {name}
+                    </option>
+                  ))}
+                </select>
+              </td>
+            </tr>
+          ))}
+        </tbody>
+      </table>
       <EmailTemplate {...{ entries, clusters, version: counter }} />
       <HARConverter {...{ entries }} />
     </div>
   );
-  console.timeEnd("rendering template");
-  return result;
 }
 
 ReactDOM.render(<Report />, document.getElementById("app"));

request-cluster.ts

@@ -13,7 +13,6 @@ const source_priority: Array<Sources> = [
 
 export class RequestCluster extends EventEmitter {
   public requests: ExtendedRequest[] = [];
-  public representativeStolenData: StolenDataEntry[] = [];
   constructor(public id: string) {
     super();
   }
@@ -31,14 +30,14 @@ export class RequestCluster extends EventEmitter {
     return false;
   }
 
-  calculatetRepresentativeStolenData(
+  getRepresentativeStolenData(
     filter: {
       minValueLength: number;
       cookiesOnly: boolean;
       cookiesOrOriginOnly: boolean;
     } = { minValueLength: 0, cookiesOnly: false, cookiesOrOriginOnly: false }
   ): StolenDataEntry[] {
-    this.representativeStolenData = this.requests
+    return this.requests
       .map((request) => request.stolenData)
 
       .reduce((a, b) => a.concat(b), [])
@@ -121,7 +120,6 @@ export class RequestCluster extends EventEmitter {
       .sort((entry1, entry2) =>
         entry1.getPriority() > entry2.getPriority() ? -1 : 1
       );
-    return this.representativeStolenData;
   }
 
   static sortCompare(a: RequestCluster, b: RequestCluster) {
@@ -167,8 +165,7 @@ export class RequestCluster extends EventEmitter {
   }
 
   autoMark() {
-    this.calculatetRepresentativeStolenData();
-    this.representativeStolenData.forEach((entry) => {
+    this.getRepresentativeStolenData().forEach((entry) => {
       entry.autoMark();
     });
   }

sidebar/stolen-data-cluster.tsx

@@ -125,15 +125,13 @@ export default function StolenDataCluster({
       </h2>
       <div>
         {cluster.getFullHosts().map((host) => (
-          <a key={host} href={`https://${host}`}>
-            {host},{" "}
-          </a>
+          <a href={`https://${host}`}>{host}, </a>
         ))}
       </div>
       <table>
         <tbody>
           {cluster
-            .calculatetRepresentativeStolenData({
+            .getRepresentativeStolenData({
               minValueLength,
               cookiesOnly,
               cookiesOrOriginOnly,

util.ts

@@ -1,11 +1,5 @@
 import { EventEmitter } from "events";
-import {
-  Dispatch,
-  ReactChildren,
-  SetStateAction,
-  useEffect,
-  useState,
-} from "react";
+import { Dispatch, SetStateAction, useEffect, useState } from "react";
 
 export type Unpromisify<T> = T extends Promise<infer R> ? R : T;
 export type Unarray<T> = T extends Array<infer R> ? R : T;
@@ -45,8 +39,6 @@ export function getshorthost(host: string) {
   let lookback = parts.at(-2).length > 3 ? -2 : -3;
   if (parts.at(-2) == "doubleclick") {
     lookback = -4; // to distinguish between google ads and stats
-  } else if (parts.at(-2) == "google") {
-    lookback = -3; // to distinguish various google services
   }
   return parts.slice(lookback).join(".");
 }