Oś czasu mojej kariery

Changelog mojej drogi zawodowej

Szczegółowy przegląd mojego doświadczenia jako niezależnego freelancera. Od lat realizuję długoterminowe projekty B2B, skupiając się na zaawansowanym web scrapingu, inżynierii danych i infrastrukturze automatyzacji.

Obecna rola

Poprzednie projekty (najedź aby podświetlić)

2023 - Obecnie

Główny Inżynier ds. Web Scrapingu / Freelancer

Skalowalna Infrastruktura Scrapująca

Długoterminowa współpraca (Remote Series A Startup)

Zaprojektowałem odporne na awarie, rozproszone scrapery pobierające ponad 5 milionów punktów danych dziennie z celów chronionych przez zaawansowane systemy anti-bot.
Zintegrowałem systemy omijające zabezpieczenia Cloudflare/Akamai, wykorzystując sieci proxy (residential) oraz pule przeglądarek w trybie headless.
Zbudowałem zautomatyzowane rurociągi walidacji schematów używając Pydantic, utrzymując 99.8% jakości danych niezależnie od dynamicznych zmian na stronach.
Zoptymalizowałem strategie rotacji proxy, co pozwoliło moim klientom na redukcję kosztów infrastruktury operacyjnej o 35%.

PythonPlaywrightScrapyRedisDocker

2022 - 2023

Główny Inżynier ds. Automatyzacji i Ekstrakcji

Automatyzacja Procesów InsurTech

Długoterminowy projekt B2B: Platforma Fintech / Ubezpieczeniowa

Zaprojektowałem zautomatyzowane boty przeglądarkowe w celu usprawnienia ekstrakcji dokumentów polis z przestarzałych (legacy) portali ubezpieczeniowych.
Wdrożyłem potoki ekstrakcji danych oparte na OCR i LLM do przetwarzania ustrukturyzowanych roszczeń z nieustrukturyzowanych plików PDF i obrazów.
Skróciłem czas ręcznego wprowadzania danych przez underwriterów o 80% dzięki automatycznemu wypełnianiu formularzy i scrapowaniu w tle.
Zaimplementowałem alerty w czasie rzeczywistym (Slack/Datadog), aby błyskawicznie wychwytywać mutacje struktury DOM.

PythonSeleniumFastAPITypeScriptPostgreSQL

2021 - 2022

Full-Stack Inżynier ds. Scrapingu Danych

Silnik Wywiadu Konkurencyjnego

Długoterminowy projekt B2B: SaaS E-commerce

Zaprojektowałem panele analityczne (React/Tailwind) wyświetlające w czasie rzeczywistym zescrapowane trendy cenowe i poziomy zapasów.
Przeprowadziłem inżynierię wsteczną wewnętrznych punktów końcowych API docelowych aplikacji webowych dla ultraszybkiego pobierania danych.
Zaplanowałem i zaorkiestrowałem ponad 100 równoległych zadań scrapujących przy użyciu RabbitMQ i pul workerów Celery.
Zbudowałem autorskie moduły zarządzania odciskiem palca przeglądarki (browser fingerprint), aby symulować autentyczne wzorce zachowań ludzkich.

ReactTypeScriptTailwind CSSPythonCelery

2020 - 2021

Inżynier ds. Pozyskiwania Danych

Zbiory Danych Treningowych dla AI & LLM

Niezależny kontrakt: AI Startup

Pobrałem terabajty czystych danych internetowych z różnych branż, aby zasilić trening dedykowanych modeli AI/LLM.
Stworzyłem samonaprawiające się selektory (self-healing) oparte na analizie drzewa DOM, co uodporniło scrapery na przebudowy stron.
Opracowałem zautomatyzowane integracje rozwiązujące CAPTCHA z wykorzystaniem zewnętrznych API i modeli widzenia maszynowego.
Utrzymywałem rygorystycznie zgodne z prawem protokoły scrapowania, przestrzegając `robots.txt`, limitów zapytań (rate limits) oraz wytycznych RODO.

PythonPuppeteerBeautifulSoupAWS S3MongoDB

Opanowane Technologie

Kompleksowa wiedza (full-stack) obejmująca nowoczesne technologie i narzędzia do scrapingu, sprawdzona w boju podczas pracy dla wielu klientów.

Frontend

React, TypeScript, Tailwind CSS, Next.js

Backend

Python, Node.js, FastAPI, Express

Web Scraping

Playwright, Puppeteer, Scrapy, Selenium

Bazy Danych

PostgreSQL, MongoDB, Redis, Pinecone

Cloud & DevOps

AWS, Docker, CI/CD, Celery, RabbitMQ