O danych¶

Zbiór opisuje aktywność ofert Airbnb w Nowym Jorku w 2019 roku. Zawiera informacje o lokalizacji ofert, typach pokojów, cenach, minimalnej liczbie nocy oraz popularności mierzonej liczbą recenzji.

Główne kolumny, z którymi będziemy działać:

  • neighbourhood_group - Dzielnica główna (Manhattan, Brooklyn, Queens, Bronx, Staten Island).

  • neighbourhood - Konkretne osiedle (np. Williamsburg, Harlem).

  • room_type - Typ noclegu (Entire home/apt, Private room, Shared room).

  • price - Cena za noc (w dolarach).

  • minimum_nights - Minimalna długość rezerwacji.

  • number_of_reviews i reviews_per_month - Metryki popularności oferty.

  • availability_365 - Liczba dni w roku, kiedy oferta jest dostępna do rezerwacji.

Cel analizy i wprowadzenie¶

Głównym celem badania była identyfikacja, statystyczne uzasadnienie oraz biznesowa interpretacja anomalii cenowych (outliers) w ofertach Airbnb w Nowym Jorku. Zrozumienie punktów skrajnych jest kluczowym elementem inżynierii danych przed budowaniem modeli predykcyjnych (ML) lub raportów BI, ponieważ skrajne wartości drastycznie zniekształcają tradycyjne miary statystyczne (np. średnią arytmetyczną).¶

Opis obrazka

id name host_id host_name neighbourhood_group neighbourhood latitude longitude room_type price minimum_nights number_of_reviews last_review reviews_per_month calculated_host_listings_count availability_365
0 2539 Clean & quiet apt home by the park 2787 John Brooklyn Kensington 40.65 -73.97 Private room 149 1 9 2018-10-19 0.21 6 365
1 2595 Skylit Midtown Castle 2845 Jennifer Manhattan Midtown 40.75 -73.98 Entire home/apt 225 1 45 2019-05-21 0.38 2 355
2 3647 THE VILLAGE OF HARLEM....NEW YORK ! 4632 Elisabeth Manhattan Harlem 40.81 -73.94 Private room 150 3 0 NaN NaN 1 365
3 3831 Cozy Entire Floor of Brownstone 4869 LisaRoxanne Brooklyn Clinton Hill 40.69 -73.96 Entire home/apt 89 1 270 2019-07-05 4.64 1 194
4 5022 Entire Apt: Spacious Studio/Loft by central park 7192 Laura Manhattan East Harlem 40.80 -73.94 Entire home/apt 80 10 9 2018-11-19 0.10 1 0
5 5099 Large Cozy 1 BR Apartment In Midtown East 7322 Chris Manhattan Murray Hill 40.75 -73.97 Entire home/apt 200 3 74 2019-06-22 0.59 1 129
6 5121 BlissArtsSpace! 7356 Garon Brooklyn Bedford-Stuyvesant 40.69 -73.96 Private room 60 45 49 2017-10-05 0.40 1 0
7 5178 Large Furnished Room Near B'way 8967 Shunichi Manhattan Hell's Kitchen 40.76 -73.98 Private room 79 2 430 2019-06-24 3.47 1 220
8 5203 Cozy Clean Guest Room - Family Apt 7490 MaryEllen Manhattan Upper West Side 40.80 -73.97 Private room 79 2 118 2017-07-21 0.99 1 0
9 5238 Cute & Cozy Lower East Side 1 bdrm 7549 Ben Manhattan Chinatown 40.71 -73.99 Entire home/apt 150 1 160 2019-06-09 1.33 4 188
id name host_id host_name neighbourhood_group neighbourhood latitude longitude room_type price minimum_nights number_of_reviews last_review reviews_per_month calculated_host_listings_count availability_365
18369 14426680 Luxurious and Sunny 2 bed/2 bath home (1100 sqft) 2678122 Tasha Brooklyn Williamsburg 40.72 -73.95 Entire home/apt 180 4 64 2019-06-06 2.00 3 57
26698 21213799 Nice room in Harlem 63417081 Devon Manhattan Harlem 40.82 -73.94 Private room 45 30 2 2018-12-31 0.10 8 261
19079 15159731 Executive Studio Best Location 61391963 Corporate Housing Manhattan Kips Bay 40.74 -73.98 Entire home/apt 117 30 9 2018-09-30 0.30 91 317
5257 3800549 Williamsburg Studio 810266 Jonathan Brooklyn Williamsburg 40.72 -73.96 Entire home/apt 125 21 1 2015-04-30 0.02 1 0
14838 11753116 Luxury Style Space: ideal for short or longterm! 50199714 Dellasie Brooklyn Crown Heights 40.67 -73.94 Private room 49 1 86 2019-06-10 2.16 1 4
28926 22291938 Modern, Private Williamsburg Bedroom 83170219 Hannah Brooklyn Williamsburg 40.71 -73.94 Private room 60 2 1 2018-02-13 0.06 1 0
43262 33548323 Modern & Cozy Room with PRIVATE balcony! 6946537 Tiara Brooklyn Flatbush 40.63 -73.96 Private room 80 2 0 NaN NaN 1 90
18747 14840286 Artist's Townhouse 9977688 Lenissima Brooklyn Bedford-Stuyvesant 40.69 -73.92 Entire home/apt 575 4 6 2018-12-31 0.19 1 179
19432 15500135 NYC Elegance steps 2 Central Park see all pict... 99552750 Wendy Manhattan Upper East Side 40.76 -73.97 Entire home/apt 190 4 83 2019-06-22 2.58 1 104
8290 6376606 Gramercy Apt, Private Bedroom 33234599 Smit Manhattan Kips Bay 40.74 -73.98 Private room 64 3 4 2016-04-13 0.08 1 0
Brakujące wartości (liczba i %):
                   missing_count  missing_pct
last_review                10052        20.56
reviews_per_month          10052        20.56
host_name                     21         0.04
name                          16         0.03
No description has been provided for this image
<_duckdb.DuckDBPyConnection at 0x1d66a70b9f0>
id name host_id host_name neighbourhood_group neighbourhood latitude longitude room_type price minimum_nights number_of_reviews last_review reviews_per_month calculated_host_listings_count availability_365
0 2539 Clean & quiet apt home by the park 2787 John Brooklyn Kensington 40.65 -73.97 Private room 149 1 9 2018-10-19 0.21 6 365
1 2595 Skylit Midtown Castle 2845 Jennifer Manhattan Midtown 40.75 -73.98 Entire home/apt 225 1 45 2019-05-21 0.38 2 355
2 3647 THE VILLAGE OF HARLEM....NEW YORK ! 4632 Elisabeth Manhattan Harlem 40.81 -73.94 Private room 150 3 0 1970-01-01 0.00 1 365
3 3831 Cozy Entire Floor of Brownstone 4869 LisaRoxanne Brooklyn Clinton Hill 40.69 -73.96 Entire home/apt 89 1 270 2019-07-05 4.64 1 194
4 5022 Entire Apt: Spacious Studio/Loft by central park 7192 Laura Manhattan East Harlem 40.80 -73.94 Entire home/apt 80 10 9 2018-11-19 0.10 1 0
neighbourhood_group listings avg_price median_price std_price min_price max_price listing_share
0 Manhattan 21660 196.88 150.00 291.39 10 10000 0.44
1 Brooklyn 20095 124.44 90.00 186.90 10 10000 0.41
2 Queens 5666 99.52 75.00 167.10 10 10000 0.12
3 Bronx 1090 87.58 65.00 106.73 10 2500 0.02
4 Staten Island 373 114.81 75.00 277.62 13 5000 0.01
Top 5 najdroższych dzielnic w Manhattan:
       neighbourhood  avg_price  num_of_listings
0            Tribeca     490.64              177
1  Battery Park City     367.56               70
2  Flatiron District     341.93               80
3               NoHo     295.72               78
4               SoHo     287.10              358

Sprawdzamy liczbę unikalnych hostów, liczbę ogłoszeń z ceną 0, oraz liczbę ogłoszeń z brakującymi wartościami.

Dodatkowo sprawdzamy, ile ogłoszeń ma brakujące wartości w kluczowych kolumnach takich jak id, name, host_id, host_name, neighbourhood_group, neighbourhood, room_type, price, last_review, reviews_per_month.

Statystyki podstawowe:
   total_rows  unique_hosts  zero_price_listings  null_id  null_name  null_host_id  null_host_name  null_neighbourhood_group  null_neighbourhood  null_room_type  null_price  null_last_review  null_reviews_per_month
0       48895         37457                11.00     0.00      16.00          0.00           21.00                      0.00                0.00            0.00        0.00              0.00                    0.00

W tej sekcji wykorzystuję metody biblioteki Pandas, aby zaprezentować biegłość w manipulacji danymi w czystym Pythonie, jako alternatywę dla zapytań SQL. Obliczamy średnią i medianę cen dla obu typów pokoi, a następnie porównujemy je, aby zobaczyć, jak różnią się ceny między tymi dwoma typami zakwaterowania.

Średnie i mediany cen dla Entire home/apt oraz Private room:
                 avg_price  median_price
room_type                               
Entire home/apt     211.79        160.00
Private room         89.78         70.00

Porównanie:
Entire home/apt - Private room: średnia = 122.01, mediana = 90.00

Dla każdej z 5 głównych dzielnic (Manhattan, Brooklyn, Queens, Bronx, Staten Island) obliczamy ranking hostów na podstawie liczby recenzji, które otrzymali. Używamy funkcji okna DENSE_RANK(), aby przypisać rangę popularności hostom w każdej dzielnicy. Host z największą liczbą recenzji otrzyma rangę 1, drugi co do popularności będzie miał rangę 2, itd. To pozwoli nam zidentyfikować najbardziej popularne hosty w każdej dzielnicy i zobaczyć, jak ich popularność różni się między dzielnicami.

Ranking najpopularniejszych hostów w każdej dzielnicy:
      neighbourhood_group    host_id host_name  num_listings  total_reviews  \
0                   Bronx    3684360   Enrique             4         595.00   
1                   Bronx   17292935      Anne             2         507.00   
2                   Bronx      12221      Lori             2         493.00   
3                   Bronx   82889379     Shera             4         489.00   
4                   Bronx  128692351    Nahuel             5         436.00   
...                   ...        ...       ...           ...            ...   
37567       Staten Island   28586423  Danielle             1           0.00   
37568       Staten Island   44195923      Dawn             1           0.00   
37569       Staten Island   56306339        Al             1           0.00   
37570       Staten Island  153561136     Irene             1           0.00   
37571       Staten Island  269592097     Selma             1           0.00   

       popularity_rank  
0                    1  
1                    2  
2                    3  
3                    4  
4                    5  
...                ...  
37567              103  
37568              103  
37569              103  
37570              103  
37571              103  

[37572 rows x 6 columns]
No description has been provided for this image
Wyniki analizy IQR dla cen:
   25% Kwartyl (Q1)  75% Kwartyl (Q3)  Rozstęp IQR  Statystyczny Próg Anomalii  Liczba Anomalii Górnych  Procent Anomalii %
0             69.00            175.00       106.00                      334.00                     2972                6.08
Top 10 ogłoszeń z ceną powyżej 1000$, pokazujące, ile razy są droższe od mediany w swojej dzielnicy:
         id                                                name neighbourhood_group    neighbourhood  price  lokalna_mediana  ile_razy_drozszy
0   7003697                 Furnished room in Astoria apartment              Queens          Astoria  10000            75.00            133.30
1  13894339     Luxury 1 bedroom apt. -stunning Manhattan views            Brooklyn       Greenpoint  10000            90.00            111.10
2   2953058                                       Film Location            Brooklyn     Clinton Hill   8000            90.00             88.90
3  34895693                                Gem of east Flatbush            Brooklyn    East Flatbush   7500            90.00             83.30
4   2271504                    SUPER BOWL Brooklyn Duplex Apt!!            Brooklyn     Clinton Hill   6500            90.00             72.20
5   9528920                 Quiet, Clean, Lit @ LES & Chinatown           Manhattan  Lower East Side   9999           150.00             66.70
6  22436899                                 1-BR Lincoln Center           Manhattan  Upper West Side  10000           150.00             66.70
7  31340283  2br - The Heart of NYC: Manhattans Lower East Side           Manhattan  Lower East Side   9999           150.00             66.70
8   4737930                                  Spanish Harlem Apt           Manhattan      East Harlem   9999           150.00             66.70
9  18051877                             Victorian Film location       Staten Island    Randall Manor   5000            75.00             66.70
No description has been provided for this image

Oszustwo, luksus czy pomyłka? Kim są te wszystkie ludzie wystawiający te anomalne oferty i czy te rekordy są wiarygodne?

Dzielimy oferty na trzy kategorie cenowe:

  • A. Ekstremalne anomalie (5000$+)

  • B. Wysokie ceny / Outliery IQR (335-4999$)

  • C. Normalny rynek (<335$)

Następnie dla każdej kategorii obliczamy liczbę ofert, średnią liczbę recenzji, średnią dostępność w dniach w roku oraz średnią minimalną liczbę nocy. To pozwoli nam zrozumieć, jak różnią się profile ofert w zależności od ich kategorii cenowej i czy istnieją jakieś charakterystyczne cechy dla każdej z tych kategorii.

Profil ofert w podziale na kategorie cenowe:
                              kategoria_cenowa  liczba_ofert  sr_liczba_recenzji  sr_dostępność_dni_w_roku  sr_minimalna_liczba_nocy
0             A. Ekstremalne anomalie (5000$+)            26                2.70                    178.00                     22.10
1  B. Wysokie ceny / Outliery IQR (335$-4999$)          2946               13.00                    165.00                      8.30
2                    C. Normalny rynek (<335$)         45923               23.90                    109.00                      6.90
Liczba ofert z wymaganym minimum_nights = 1250: 1
Liczba ofert z minimum_nights >= 1250: 1

Unikalne wartości minimum_nights w tych ofertach: [1250]
Unikalne dostępności availability_365: [365]

Podsumowanie cen i dostępności:
       price  availability_365  number_of_reviews  reviews_per_month
count   1.00              1.00               1.00               1.00
mean  180.00            365.00               2.00               0.03
std      NaN               NaN                NaN                NaN
min   180.00            365.00               2.00               0.03
25%   180.00            365.00               2.00               0.03
50%   180.00            365.00               2.00               0.03
75%   180.00            365.00               2.00               0.03
max   180.00            365.00               2.00               0.03

Rozkład po dzielnicach (neighbourhood_group):
neighbourhood_group
Manhattan    1

Top 10 hostów z ofertami minimum_nights = 1250:
host_id   host_name
17550546  Genevieve    1

Przykładowe oferty:
     id                             name  host_id host_name neighbourhood_group     neighbourhood       room_type  price  minimum_nights  availability_365  number_of_reviews  reviews_per_month
4204302 Prime W. Village location 1 bdrm 17550546 Genevieve           Manhattan Greenwich Village Entire home/apt    180            1250               365                  2               0.03

Otrzymane wyniki można zinterpretowac w taki sposób:

W grupie ekstremalnej ($5000+) zauważamy nagły spadek średniej liczby recenzji (często bliski zeru) oraz specyficzne anomalie w dostępności lub minimalnej liczbie nocy.

- Część tych ofert to błędy ludzkie (np. gospodarz wpisał o jedno zero za dużo).

- Część to celowe blokowanie kalendarza – gospodarze, którzy z jakiegoś powodu nie chcą wynajmować mieszkania w danym okresie, zamiast ukryć ofertę, ustawiają zaporową cenę 10 000$, przez co nikt jej nie zarezerwuje.

No description has been provided for this image

Krótkie sprawozdanie z analizy

Analiza danych z AB_NYC_2019.csv ujawniła, że zbiór zawiera znaczącą liczbę wartości odstających i nietypowych wpisów, które wpływają na podstawowe metryki i interpretację wyników.

  • Wyczyściliśmy dane, uwzględniając brakujące wartości w kolumnach last_review i reviews_per_month, co poprawiło spójność tabeli airbnb_clean.
  • Zidentyfikowaliśmy silną asymetrię cenową: większość ofert mieści się w umiarkowanym przedziale, podczas gdy mniejsza grupa ekstremalnych cen tworzy długi ogon.
  • Najdroższe oferty często mają niską liczbę recenzji, wysokie wymaganie minimalnej liczby nocy lub nietypową dostępność, co wskazuje na możliwe błędy, spam lub specjalne przypadki blokowania kalendarza.
  • Lokalizacja i typ pokoju wpływają wyraźnie na wyniki: Manhattan oraz Entire home/apt mają wyższe ceny i większą zmienność niż reszta rynku.

Wnioski:

  1. Anomalie cenowe powinny być analizowane osobno lub filtrowane przed budową modeli predykcyjnych.
  2. Dobrą praktyką jest wprowadzenie walidacji ETL dla zakresów cen, minimum_nights oraz liczby recenzji.
  3. Dalsza analiza może skupić się na segmentacji ofert oraz porównaniu wyników przed i po usunięciu outlierów.
[NbConvertApp] Converting notebook Airbnb New York City 2019.ipynb to html
[NbConvertApp] WARNING | Alternative text is missing on 4 image(s).
[NbConvertApp] Writing 799901 bytes to Airbnb_New_York_City_2019.html