O danych¶
Zbiór opisuje aktywność ofert Airbnb w Nowym Jorku w 2019 roku. Zawiera informacje o lokalizacji ofert, typach pokojów, cenach, minimalnej liczbie nocy oraz popularności mierzonej liczbą recenzji.
Główne kolumny, z którymi będziemy działać:
neighbourhood_group - Dzielnica główna (Manhattan, Brooklyn, Queens, Bronx, Staten Island).
neighbourhood - Konkretne osiedle (np. Williamsburg, Harlem).
room_type - Typ noclegu (Entire home/apt, Private room, Shared room).
price - Cena za noc (w dolarach).
minimum_nights - Minimalna długość rezerwacji.
number_of_reviews i reviews_per_month - Metryki popularności oferty.
availability_365 - Liczba dni w roku, kiedy oferta jest dostępna do rezerwacji.
Cel analizy i wprowadzenie¶
Głównym celem badania była identyfikacja, statystyczne uzasadnienie oraz biznesowa interpretacja anomalii cenowych (outliers) w ofertach Airbnb w Nowym Jorku. Zrozumienie punktów skrajnych jest kluczowym elementem inżynierii danych przed budowaniem modeli predykcyjnych (ML) lub raportów BI, ponieważ skrajne wartości drastycznie zniekształcają tradycyjne miary statystyczne (np. średnią arytmetyczną).¶

| id | name | host_id | host_name | neighbourhood_group | neighbourhood | latitude | longitude | room_type | price | minimum_nights | number_of_reviews | last_review | reviews_per_month | calculated_host_listings_count | availability_365 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 2539 | Clean & quiet apt home by the park | 2787 | John | Brooklyn | Kensington | 40.65 | -73.97 | Private room | 149 | 1 | 9 | 2018-10-19 | 0.21 | 6 | 365 |
| 1 | 2595 | Skylit Midtown Castle | 2845 | Jennifer | Manhattan | Midtown | 40.75 | -73.98 | Entire home/apt | 225 | 1 | 45 | 2019-05-21 | 0.38 | 2 | 355 |
| 2 | 3647 | THE VILLAGE OF HARLEM....NEW YORK ! | 4632 | Elisabeth | Manhattan | Harlem | 40.81 | -73.94 | Private room | 150 | 3 | 0 | NaN | NaN | 1 | 365 |
| 3 | 3831 | Cozy Entire Floor of Brownstone | 4869 | LisaRoxanne | Brooklyn | Clinton Hill | 40.69 | -73.96 | Entire home/apt | 89 | 1 | 270 | 2019-07-05 | 4.64 | 1 | 194 |
| 4 | 5022 | Entire Apt: Spacious Studio/Loft by central park | 7192 | Laura | Manhattan | East Harlem | 40.80 | -73.94 | Entire home/apt | 80 | 10 | 9 | 2018-11-19 | 0.10 | 1 | 0 |
| 5 | 5099 | Large Cozy 1 BR Apartment In Midtown East | 7322 | Chris | Manhattan | Murray Hill | 40.75 | -73.97 | Entire home/apt | 200 | 3 | 74 | 2019-06-22 | 0.59 | 1 | 129 |
| 6 | 5121 | BlissArtsSpace! | 7356 | Garon | Brooklyn | Bedford-Stuyvesant | 40.69 | -73.96 | Private room | 60 | 45 | 49 | 2017-10-05 | 0.40 | 1 | 0 |
| 7 | 5178 | Large Furnished Room Near B'way | 8967 | Shunichi | Manhattan | Hell's Kitchen | 40.76 | -73.98 | Private room | 79 | 2 | 430 | 2019-06-24 | 3.47 | 1 | 220 |
| 8 | 5203 | Cozy Clean Guest Room - Family Apt | 7490 | MaryEllen | Manhattan | Upper West Side | 40.80 | -73.97 | Private room | 79 | 2 | 118 | 2017-07-21 | 0.99 | 1 | 0 |
| 9 | 5238 | Cute & Cozy Lower East Side 1 bdrm | 7549 | Ben | Manhattan | Chinatown | 40.71 | -73.99 | Entire home/apt | 150 | 1 | 160 | 2019-06-09 | 1.33 | 4 | 188 |
| id | name | host_id | host_name | neighbourhood_group | neighbourhood | latitude | longitude | room_type | price | minimum_nights | number_of_reviews | last_review | reviews_per_month | calculated_host_listings_count | availability_365 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 18369 | 14426680 | Luxurious and Sunny 2 bed/2 bath home (1100 sqft) | 2678122 | Tasha | Brooklyn | Williamsburg | 40.72 | -73.95 | Entire home/apt | 180 | 4 | 64 | 2019-06-06 | 2.00 | 3 | 57 |
| 26698 | 21213799 | Nice room in Harlem | 63417081 | Devon | Manhattan | Harlem | 40.82 | -73.94 | Private room | 45 | 30 | 2 | 2018-12-31 | 0.10 | 8 | 261 |
| 19079 | 15159731 | Executive Studio Best Location | 61391963 | Corporate Housing | Manhattan | Kips Bay | 40.74 | -73.98 | Entire home/apt | 117 | 30 | 9 | 2018-09-30 | 0.30 | 91 | 317 |
| 5257 | 3800549 | Williamsburg Studio | 810266 | Jonathan | Brooklyn | Williamsburg | 40.72 | -73.96 | Entire home/apt | 125 | 21 | 1 | 2015-04-30 | 0.02 | 1 | 0 |
| 14838 | 11753116 | Luxury Style Space: ideal for short or longterm! | 50199714 | Dellasie | Brooklyn | Crown Heights | 40.67 | -73.94 | Private room | 49 | 1 | 86 | 2019-06-10 | 2.16 | 1 | 4 |
| 28926 | 22291938 | Modern, Private Williamsburg Bedroom | 83170219 | Hannah | Brooklyn | Williamsburg | 40.71 | -73.94 | Private room | 60 | 2 | 1 | 2018-02-13 | 0.06 | 1 | 0 |
| 43262 | 33548323 | Modern & Cozy Room with PRIVATE balcony! | 6946537 | Tiara | Brooklyn | Flatbush | 40.63 | -73.96 | Private room | 80 | 2 | 0 | NaN | NaN | 1 | 90 |
| 18747 | 14840286 | Artist's Townhouse | 9977688 | Lenissima | Brooklyn | Bedford-Stuyvesant | 40.69 | -73.92 | Entire home/apt | 575 | 4 | 6 | 2018-12-31 | 0.19 | 1 | 179 |
| 19432 | 15500135 | NYC Elegance steps 2 Central Park see all pict... | 99552750 | Wendy | Manhattan | Upper East Side | 40.76 | -73.97 | Entire home/apt | 190 | 4 | 83 | 2019-06-22 | 2.58 | 1 | 104 |
| 8290 | 6376606 | Gramercy Apt, Private Bedroom | 33234599 | Smit | Manhattan | Kips Bay | 40.74 | -73.98 | Private room | 64 | 3 | 4 | 2016-04-13 | 0.08 | 1 | 0 |
Brakujące wartości (liczba i %):
missing_count missing_pct
last_review 10052 20.56
reviews_per_month 10052 20.56
host_name 21 0.04
name 16 0.03
<_duckdb.DuckDBPyConnection at 0x1d66a70b9f0>
| id | name | host_id | host_name | neighbourhood_group | neighbourhood | latitude | longitude | room_type | price | minimum_nights | number_of_reviews | last_review | reviews_per_month | calculated_host_listings_count | availability_365 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 2539 | Clean & quiet apt home by the park | 2787 | John | Brooklyn | Kensington | 40.65 | -73.97 | Private room | 149 | 1 | 9 | 2018-10-19 | 0.21 | 6 | 365 |
| 1 | 2595 | Skylit Midtown Castle | 2845 | Jennifer | Manhattan | Midtown | 40.75 | -73.98 | Entire home/apt | 225 | 1 | 45 | 2019-05-21 | 0.38 | 2 | 355 |
| 2 | 3647 | THE VILLAGE OF HARLEM....NEW YORK ! | 4632 | Elisabeth | Manhattan | Harlem | 40.81 | -73.94 | Private room | 150 | 3 | 0 | 1970-01-01 | 0.00 | 1 | 365 |
| 3 | 3831 | Cozy Entire Floor of Brownstone | 4869 | LisaRoxanne | Brooklyn | Clinton Hill | 40.69 | -73.96 | Entire home/apt | 89 | 1 | 270 | 2019-07-05 | 4.64 | 1 | 194 |
| 4 | 5022 | Entire Apt: Spacious Studio/Loft by central park | 7192 | Laura | Manhattan | East Harlem | 40.80 | -73.94 | Entire home/apt | 80 | 10 | 9 | 2018-11-19 | 0.10 | 1 | 0 |
| neighbourhood_group | listings | avg_price | median_price | std_price | min_price | max_price | listing_share | |
|---|---|---|---|---|---|---|---|---|
| 0 | Manhattan | 21660 | 196.88 | 150.00 | 291.39 | 10 | 10000 | 0.44 |
| 1 | Brooklyn | 20095 | 124.44 | 90.00 | 186.90 | 10 | 10000 | 0.41 |
| 2 | Queens | 5666 | 99.52 | 75.00 | 167.10 | 10 | 10000 | 0.12 |
| 3 | Bronx | 1090 | 87.58 | 65.00 | 106.73 | 10 | 2500 | 0.02 |
| 4 | Staten Island | 373 | 114.81 | 75.00 | 277.62 | 13 | 5000 | 0.01 |
Top 5 najdroższych dzielnic w Manhattan:
neighbourhood avg_price num_of_listings
0 Tribeca 490.64 177
1 Battery Park City 367.56 70
2 Flatiron District 341.93 80
3 NoHo 295.72 78
4 SoHo 287.10 358
Sprawdzamy liczbę unikalnych hostów, liczbę ogłoszeń z ceną 0, oraz liczbę ogłoszeń z brakującymi wartościami.
Dodatkowo sprawdzamy, ile ogłoszeń ma brakujące wartości w kluczowych kolumnach takich jak id, name, host_id, host_name, neighbourhood_group, neighbourhood, room_type, price, last_review, reviews_per_month.
Statystyki podstawowe: total_rows unique_hosts zero_price_listings null_id null_name null_host_id null_host_name null_neighbourhood_group null_neighbourhood null_room_type null_price null_last_review null_reviews_per_month 0 48895 37457 11.00 0.00 16.00 0.00 21.00 0.00 0.00 0.00 0.00 0.00 0.00
W tej sekcji wykorzystuję metody biblioteki Pandas, aby zaprezentować biegłość w manipulacji danymi w czystym Pythonie, jako alternatywę dla zapytań SQL. Obliczamy średnią i medianę cen dla obu typów pokoi, a następnie porównujemy je, aby zobaczyć, jak różnią się ceny między tymi dwoma typami zakwaterowania.
Średnie i mediany cen dla Entire home/apt oraz Private room:
avg_price median_price
room_type
Entire home/apt 211.79 160.00
Private room 89.78 70.00
Porównanie:
Entire home/apt - Private room: średnia = 122.01, mediana = 90.00
Dla każdej z 5 głównych dzielnic (Manhattan, Brooklyn, Queens, Bronx, Staten Island) obliczamy ranking hostów na podstawie liczby recenzji, które otrzymali. Używamy funkcji okna DENSE_RANK(), aby przypisać rangę popularności hostom w każdej dzielnicy. Host z największą liczbą recenzji otrzyma rangę 1, drugi co do popularności będzie miał rangę 2, itd. To pozwoli nam zidentyfikować najbardziej popularne hosty w każdej dzielnicy i zobaczyć, jak ich popularność różni się między dzielnicami.
Ranking najpopularniejszych hostów w każdej dzielnicy:
neighbourhood_group host_id host_name num_listings total_reviews \
0 Bronx 3684360 Enrique 4 595.00
1 Bronx 17292935 Anne 2 507.00
2 Bronx 12221 Lori 2 493.00
3 Bronx 82889379 Shera 4 489.00
4 Bronx 128692351 Nahuel 5 436.00
... ... ... ... ... ...
37567 Staten Island 28586423 Danielle 1 0.00
37568 Staten Island 44195923 Dawn 1 0.00
37569 Staten Island 56306339 Al 1 0.00
37570 Staten Island 153561136 Irene 1 0.00
37571 Staten Island 269592097 Selma 1 0.00
popularity_rank
0 1
1 2
2 3
3 4
4 5
... ...
37567 103
37568 103
37569 103
37570 103
37571 103
[37572 rows x 6 columns]
Wyniki analizy IQR dla cen: 25% Kwartyl (Q1) 75% Kwartyl (Q3) Rozstęp IQR Statystyczny Próg Anomalii Liczba Anomalii Górnych Procent Anomalii % 0 69.00 175.00 106.00 334.00 2972 6.08
Top 10 ogłoszeń z ceną powyżej 1000$, pokazujące, ile razy są droższe od mediany w swojej dzielnicy:
id name neighbourhood_group neighbourhood price lokalna_mediana ile_razy_drozszy
0 7003697 Furnished room in Astoria apartment Queens Astoria 10000 75.00 133.30
1 13894339 Luxury 1 bedroom apt. -stunning Manhattan views Brooklyn Greenpoint 10000 90.00 111.10
2 2953058 Film Location Brooklyn Clinton Hill 8000 90.00 88.90
3 34895693 Gem of east Flatbush Brooklyn East Flatbush 7500 90.00 83.30
4 2271504 SUPER BOWL Brooklyn Duplex Apt!! Brooklyn Clinton Hill 6500 90.00 72.20
5 9528920 Quiet, Clean, Lit @ LES & Chinatown Manhattan Lower East Side 9999 150.00 66.70
6 22436899 1-BR Lincoln Center Manhattan Upper West Side 10000 150.00 66.70
7 31340283 2br - The Heart of NYC: Manhattans Lower East Side Manhattan Lower East Side 9999 150.00 66.70
8 4737930 Spanish Harlem Apt Manhattan East Harlem 9999 150.00 66.70
9 18051877 Victorian Film location Staten Island Randall Manor 5000 75.00 66.70
Oszustwo, luksus czy pomyłka? Kim są te wszystkie ludzie wystawiający te anomalne oferty i czy te rekordy są wiarygodne?
Dzielimy oferty na trzy kategorie cenowe:
A. Ekstremalne anomalie (5000$+)
B. Wysokie ceny / Outliery IQR (335-4999$)
C. Normalny rynek (<335$)
Następnie dla każdej kategorii obliczamy liczbę ofert, średnią liczbę recenzji, średnią dostępność w dniach w roku oraz średnią minimalną liczbę nocy. To pozwoli nam zrozumieć, jak różnią się profile ofert w zależności od ich kategorii cenowej i czy istnieją jakieś charakterystyczne cechy dla każdej z tych kategorii.
Profil ofert w podziale na kategorie cenowe:
kategoria_cenowa liczba_ofert sr_liczba_recenzji sr_dostępność_dni_w_roku sr_minimalna_liczba_nocy
0 A. Ekstremalne anomalie (5000$+) 26 2.70 178.00 22.10
1 B. Wysokie ceny / Outliery IQR (335$-4999$) 2946 13.00 165.00 8.30
2 C. Normalny rynek (<335$) 45923 23.90 109.00 6.90
Liczba ofert z wymaganym minimum_nights = 1250: 1
Liczba ofert z minimum_nights >= 1250: 1
Unikalne wartości minimum_nights w tych ofertach: [1250]
Unikalne dostępności availability_365: [365]
Podsumowanie cen i dostępności:
price availability_365 number_of_reviews reviews_per_month
count 1.00 1.00 1.00 1.00
mean 180.00 365.00 2.00 0.03
std NaN NaN NaN NaN
min 180.00 365.00 2.00 0.03
25% 180.00 365.00 2.00 0.03
50% 180.00 365.00 2.00 0.03
75% 180.00 365.00 2.00 0.03
max 180.00 365.00 2.00 0.03
Rozkład po dzielnicach (neighbourhood_group):
neighbourhood_group
Manhattan 1
Top 10 hostów z ofertami minimum_nights = 1250:
host_id host_name
17550546 Genevieve 1
Przykładowe oferty:
id name host_id host_name neighbourhood_group neighbourhood room_type price minimum_nights availability_365 number_of_reviews reviews_per_month
4204302 Prime W. Village location 1 bdrm 17550546 Genevieve Manhattan Greenwich Village Entire home/apt 180 1250 365 2 0.03
Otrzymane wyniki można zinterpretowac w taki sposób:
W grupie ekstremalnej ($5000+) zauważamy nagły spadek średniej liczby recenzji (często bliski zeru) oraz specyficzne anomalie w dostępności lub minimalnej liczbie nocy.
- Część tych ofert to błędy ludzkie (np. gospodarz wpisał o jedno zero za dużo).
- Część to celowe blokowanie kalendarza – gospodarze, którzy z jakiegoś powodu nie chcą wynajmować mieszkania w danym okresie, zamiast ukryć ofertę, ustawiają zaporową cenę 10 000$, przez co nikt jej nie zarezerwuje.
Krótkie sprawozdanie z analizy
Analiza danych z AB_NYC_2019.csv ujawniła, że zbiór zawiera znaczącą liczbę wartości odstających i nietypowych wpisów, które wpływają na podstawowe metryki i interpretację wyników.
- Wyczyściliśmy dane, uwzględniając brakujące wartości w kolumnach
last_reviewireviews_per_month, co poprawiło spójność tabeliairbnb_clean. - Zidentyfikowaliśmy silną asymetrię cenową: większość ofert mieści się w umiarkowanym przedziale, podczas gdy mniejsza grupa ekstremalnych cen tworzy długi ogon.
- Najdroższe oferty często mają niską liczbę recenzji, wysokie wymaganie minimalnej liczby nocy lub nietypową dostępność, co wskazuje na możliwe błędy, spam lub specjalne przypadki blokowania kalendarza.
- Lokalizacja i typ pokoju wpływają wyraźnie na wyniki: Manhattan oraz
Entire home/aptmają wyższe ceny i większą zmienność niż reszta rynku.
Wnioski:
- Anomalie cenowe powinny być analizowane osobno lub filtrowane przed budową modeli predykcyjnych.
- Dobrą praktyką jest wprowadzenie walidacji ETL dla zakresów cen,
minimum_nightsoraz liczby recenzji. - Dalsza analiza może skupić się na segmentacji ofert oraz porównaniu wyników przed i po usunięciu outlierów.
[NbConvertApp] Converting notebook Airbnb New York City 2019.ipynb to html [NbConvertApp] WARNING | Alternative text is missing on 4 image(s). [NbConvertApp] Writing 799901 bytes to Airbnb_New_York_City_2019.html