📊 Kompleksowa Analiza EDA i Segmentacja Rynku E-Commerce (Olist)¶
1. Cel i Zakres Projektu¶
Projekt przedstawia proces end-to-end analizy eksploracyjnej (EDA) brazylijskiego rynku e-commerce na podstawie rzeczywistych, anonimowych danych platformy Olist (ok. 100 tys. zamówień z lat 2016–2018).
🗺️ Schemat Relacji Bazy Danych (ERD)¶
Poniższy diagram przedstawia architekturę połączeń i klucze relacyjne pomiędzy tabelami w silniku DuckDB. Pomaga on zrozumieć strukturę bazy przed przystąpieniem do budowania zapytań SQL:
erDiagram
CUSTOMERS {
varchar customer_id PK
varchar customer_unique_id
}
ORDERS {
varchar order_id PK
varchar customer_id FK
varchar order_status
}
ORDER_ITEMS {
varchar order_id FK
int order_item_id
varchar product_id FK
varchar seller_id FK
float price
}
ORDER_PAYMENTS {
varchar order_id FK
int payment_sequential
varchar payment_type
}
ORDER_REVIEWS {
varchar review_id PK
varchar order_id FK
int review_score
}
PRODUCTS {
varchar product_id PK
varchar product_category_name
}
SELLERS {
varchar seller_id PK
}
TRANSLATION {
varchar product_category_name PK
varchar product_category_name_english
}
CUSTOMERS ||--o{ ORDERS : "customer_id -> customer_id"
ORDERS ||--|{ ORDER_ITEMS : "order_id -> order_id"
ORDERS ||--o{ ORDER_PAYMENTS : "order_id -> order_id"
ORDERS ||--o{ ORDER_REVIEWS : "order_id -> order_id"
ORDER_ITEMS }|--|| PRODUCTS : "product_id -> product_id"
ORDER_ITEMS }|--|| SELLERS : "seller_id -> seller_id"
PRODUCTS }|--o| TRANSLATION : "product_category_name -> product_category_name"
🛠️ Podejście Technologiczne¶
W projekcie wykorzystano nowoczesny stos technologiczny: Python jako środowisko uruchomieniowe oraz DuckDB jako osadzony, wysoce wydajny silnik SQL działający w pamięci (In-Memory). Wszystkie transformacje, czyszczenie oraz agregacje danych zostały wykonane za pomocą czystego SQL, co pozwala na błyskawiczne przetwarzanie dużych zbiorów danych bez nadmiernego obciążania pamięci RAM przez tradycyjne biblioteki.
Krok 1 & 2: Konfiguracja Środowiska, Rejestracja Danych i Testy Integralności¶
W tej sekcji inicjalizujemy bazę danych oraz mapujemy pliki CSV bezpośrednio jako widoki w DuckDB. Stosujemy regułę DRY (Don't Repeat Yourself) przy użyciu pętli słownika. Przeprowadzamy również testy jakości danych (unikalność kluczy głównych oraz brak rekordów osieroconych).
✓ Sukces: Wszystkie pliki CSV zostały pomyślnie podpięte jako widoki SQL. --- 1. WOLUMEN DANYCH W TABELACH --- Tabela 'customers': 99,441 wierszy Tabela 'geolocation': 1,000,163 wierszy Tabela 'order_items': 112,650 wierszy Tabela 'order_payments': 103,886 wierszy Tabela 'order_reviews': 99,224 wierszy Tabela 'orders': 99,441 wierszy Tabela 'products': 32,951 wierszy Tabela 'sellers': 3,095 wierszy Tabela 'translation': 71 wierszy --- 2. WERYFIKACJA UNIKALNOŚCI KLUCZA GŁÓWNEGO (orders) --- total_rows unique_keys duplicate_count 0 99441 99441 0 --- 3. TEST INTEGRALNOŚCI REFERENCYJNEJ (Orders -> Customers) --- Liczba zamówień bez przypisanego klienta (sierot): 0
Krok 3: Czyszczenie Danych i Zaawansowany Feature Engineering¶
W tym kroku budujemy warstwę danych oczyszczonych (v_cleaned_*). Wykorzystujemy rzutowanie typów (::TIMESTAMP), mapujemy portugalskie nazwy kategorii na język angielski za pomocą zapytań relacyjnych oraz stosujemy funkcję COALESCE, aby bezpiecznie obsłużyć wartości NULL. Dodatkowo wprowadzamy dedykowane metryki biznesowe (czas dostawy, flaga opóźnienia).
Uruchamianie procesów transformacji danych i budowania widoków analitycznych... ✓ Sukces: Widoki transformacyjne zostały poprawnie utworzone w bazie danych. --- ANALIZA ZALEŻNOŚCI BRAKU DATY DOSTAWY OD STATUSU ZAMÓWIENIA --- order_status total_orders missing_delivery_date 0 delivered 96478 8 1 shipped 1107 1107 2 canceled 625 619 3 unavailable 609 609 4 invoiced 314 314 5 processing 301 301 6 created 5 5 7 approved 2 2
Krok 4: Analiza Właściwa (EDA) – Hipotezy Biznesowe i Wizualizacje¶
Przechodzimy do testowania kluczowych hipotez biznesowych. Łączymy wyniki zaawansowanych agregacji SQL bezpośrednio z bibliotekami wizualizacyjnymi (Seaborn i Matplotlib).
Hipoteza 1: Trend Przychodów i Wolumenu Zamówień w Czasie¶
Badamy stabilność wzrostu platformy i identyfikujemy piki sprzedażowe (sezonowość, m.in. Black Friday).
Hipoteza 2: Analiza Logistyczna i Wąskie Gardła w Dostawach¶
Weryfikujemy, które stany w Brazylii charakteryzują się najwyższym współczynnikiem opóźnień przesyłek w stosunku do deklarowanej daty estymowanej.
Hipoteza 3: Wpływ Jakości Logistyki na Satysfakcję Klienta¶
Sprawdzamy, jak niedotrzymanie obietnicy logistycznej (opóźnienie) wpływa na oceny wystawiane przez klientów w ankietach (review_score).
--- WPŁYW OPÓŹNIEŃ LOGISTYCZNYCH NA SATYSFAKCJĘ (0 = na czas, 1 = opóźnione) ---
is_delayed avg_review_score total_reviews
0 4.29 88653
1 2.57 7708
Krok 5: Zaawansowana Analityka – Segmentacja Klientów RFM¶
Budujemy kompletny model segmentacyjny oparty o trzy wymiary: Recency, Frequency oraz Monetary. Wykorzystujemy zaawansowane funkcje okna NTILE() oraz logikę warunkową CASE WHEN bezpośrednio w silniku SQL.
🎯 6. Podsumowanie Biznesowe i Rekomendacje (Executive Summary)¶
Przeprowadzona analiza eksploracyjna (EDA) oraz zaawansowana segmentacja RFM na danych platformy Olist pozwalają na sformułowanie kluczowych wniosków oraz strategicznych rekomendacji dla rozwoju biznesu.
📌 1. Główne Wnioski z Analizy Danych (Insights)¶
- Stabilny wzrost z wyraźną sezonowością: Platforma wykazuje stały trend wzrostowy przychodów i wolumenu zamówień w latach 2017–2018. Kluczowym punktem sprzedaży w każdym roku jest Black Friday (listopad), generujący gwałtowne piki przychodowe, na które logistyka musi być przygotowana z dużym wyprzedzeniem.
- Wąskie gardła logistyczne: Analiza geograficzna ujawniła znaczne dysproporcje w czasie dostaw. Niektóre stany w Brazylii (szczególnie te oddalone od centrum gospodarczego, jak np. północne regiony) charakteryzują się niepokojąco wysokim odsetkiem zamówień opóźnionych w stosunku do daty estymowanej.
- Logistyka bezpośrednim motorem satysfakcji: Dane jednoznacznie potwierdzają hipotezę, że opóźnienie dostawy drastycznie obniża oceny konsumenckie. Średnia ocena (
review_score) dla zamówień dostarczonych na czas jest bliska ideału (ok. 4.2-4.5), podczas gdy zamówienia opóźnione skutkują tąpnięciem satysfakcji i drastycznym wzrostem ocen negatywnych (1-2 gwiazdki).
🚀 2. Strategia Działań dla Segmentów RFM¶
W oparciu o dystrybucję klientów w modelu RFM, rekomenduje się wdrożenie zróżnicowanych działań marketingowo-operacyjnych:
| Segment klientów | Charakterystyka | Rekomendowana Akcja Biznesowa |
|---|---|---|
| Champions (Czempioni) | Kupują bardzo często, niedawno i wydają najwięcej. | Program ambasadorski: Nagradzaj ich ekskluzywnym, wcześniejszym dostępem do nowych produktów. Nie potrzebują agresywnych rabatów cenowych – doceniają status i jakość obsługi. |
| Loyal Customers (Lojalni) | Regularnie powracający klienci o dobrej wartości. | Programy lojalnościowe: Oferuj spersonalizowane rekomendacje produktowe (Upselling/Cross-selling) oraz darmową dostawę przy przekroczeniu określonego progu koszyka. |
| Recent Customers (Nowi) | Złożyli zamówienie niedawno, ale to ich pierwszy zakup. | Proces Onboardingu: Wyślij automatyczną sekwencję powitalną (e-mail) z podziękowaniem, instrukcją korzystania z platformy oraz kuponem zniżkowym na drugie zamówienie, aby natychmiast budować nawyk powrotu. |
| At Risk / Big Spenders (Zagrożeni) | Dawniej zostawiali duże kwoty, ale dawno nic nie kupili. | Kampanie Reaktywacyjne (Win-back): Spersonalizowany kontakt e-mail/SMS typu 'Tęsknimy za Tobą'. Zaoferuj dedykowany, atrakcyjny rabat na kategorie produktów, które przeglądali lub kupowali w przeszłości. |
| Hibernating / Lost (Uśpieni) | Niska częstotliwość, małe kwoty, brak aktywności od dłuższego czasu. | Automatyzacja niskokosztowa: Nie inwestuj budżetu w drogie kampanie reklamowe (Paid Ads). Ogranicz się do masowych, zautomatyzowanych newsletterów informujących o wielkich wyprzedażach (np. przed Black Friday). |
🛠️ Następne Kroki (Future Work)¶
Dla dalszego rozwoju projektu warto rozważyć wdrożenie modeli uczenia maszynowego (Machine Learning), takich jak K-Means Clustering w celu nienadzorowanej, wielowymiarowej segmentacji klientów oraz modeli predykcyjnych do prognozowania rezygnacji klientów (Churn Prediction).
🎯 6. Podsumowanie Biznesowe i Rekomendacje (Executive Summary)¶
Przeprowadzona analiza eksploracyjna (EDA) oraz zaawansowana segmentacja RFM na danych platformy Olist pozwalają na sformułowanie kluczowych wniosków oraz strategicznych rekomendacji dla rozwoju biznesu.
📌 1. Główne Wnioski z Analizy Danych (Insights)¶
- Stabilny wzrost z wyraźną sezonowością: Platforma wykazuje stały trend wzrostowy przychodów i wolumenu zamówień w latach 2017–2018. Kluczowym punktem sprzedaży w każdym roku jest Black Friday (listopad), generujący gwałtowne piki przychodowe, na które logistyka musi być przygotowana z dużym wyprzedzeniem.
- Wąskie gardła logistyczne: Analiza geograficzna ujawniła znaczne dysproporcje w czasie dostaw. Niektóre stany w Brazylii (szczególnie te oddalone od centrum gospodarczego, jak np. północne regiony) charakteryzują się niepokojąco wysokim odsetkiem zamówień opóźnionych w stosunku do daty estymowanej.
- Logistyka bezpośrednim motorem satysfakcji: Dane jednoznacznie potwierdzają hipotezę, że opóźnienie dostawy drastycznie obniża oceny konsumenckie. Średnia ocena (
review_score) dla zamówień dostarczonych na czas jest bliska ideału (ok. 4.2-4.5), podczas gdy zamówienia opóźnione skutkują tąpnięciem satysfakcji i drastycznym wzrostem ocen negatywnych (1-2 gwiazdki).
🚀 2. Strategia Działań dla Segmentów RFM¶
W oparciu o dystrybucję klientów w modelu RFM, rekomenduje się wdrożenie zróżnicowanych działań marketingowo-operacyjnych:
| Segment klientów | Charakterystyka | Rekomendowana Akcja Biznesowa |
|---|---|---|
| Champions (Czempioni) | Kupują bardzo często, niedawno i wydają najwięcej. | Program ambasadorski: Nagradzaj ich ekskluzywnym, wcześniejszym dostępem do nowych produktów. Nie potrzebują agresywnych rabatów cenowych – doceniają status i jakość obsługi. |
| Loyal Customers (Lojalni) | Regularnie powracający klienci o dobrej wartości. | Programy lojalnościowe: Oferuj spersonalizowane rekomendacje produktowe (Upselling/Cross-selling) oraz darmową dostawę przy przekroczeniu określonego progu koszyka. |
| Recent Customers (Nowi) | Złożyli zamówienie niedawno, ale to ich pierwszy zakup. | Proces Onboardingu: Wyślij automatyczną sekwencję powitalną (e-mail) z podziękowaniem, instrukcją korzystania z platformy oraz kuponem zniżkowym na drugie zamówienie, aby natychmiast budować nawyk powrotu. |
| At Risk / Big Spenders (Zagrożeni) | Dawniej zostawiali duże kwoty, ale dawno nic nie kupili. | Kampanie Reaktywacyjne (Win-back): Spersonalizowany kontakt e-mail/SMS typu 'Tęsknimy za Tobą'. Zaoferuj dedykowany, atrakcyjny rabat na kategorie produktów, które przeglądali lub kupowali w przeszłości. |
| Hibernating / Lost (Uśpieni) | Niska częstotliwość, małe kwoty, brak aktywności od dłuższego czasu. | Automatyzacja niskokosztowa: Nie inwestuj budżetu w drogie kampanie reklamowe (Paid Ads). Ogranicz się do masowych, zautomatyzowanych newsletterów informujących o wielkich wyprzedażach (np. przed Black Friday). |
🛠️ Następne Kroki (Future Work)¶
Dla dalszego rozwoju projektu warto rozważyć wdrożenie modeli uczenia maszynowego (Machine Learning), takich jak K-Means Clustering w celu nienadzorowanej, wielowymiarowej segmentacji klientów oraz modeli predykcyjnych do prognozowania rezygnacji klientów (Churn Prediction).