Reddit blokuje Bing i inne wyszukiwarki przed zbieraniem danych – ale nie Google

Co wiedzieć

• Reddit zaktualizował plik robots.txt, aby uniemożliwić wyszukiwarkom Bing i innym wyszukiwarkom indeksowanie witryny.
• Reddit twierdzi, że represje są wynikiem zerwanych porozumień z wyszukiwarkami i niechęci firm do składania wykonalnych obietnic dotyczących korzystania z treści Reddit.
• Google to jedyna duża wyszukiwarka, która może wyświetlać najnowsze treści z Reddita w wynikach wyszukiwania, rzekomo dzięki umowie o wartości 60 milionów dolarów.

Reddit zwiększa wysiłki, aby uniemożliwić robotom indeksującym korzystanie z jego danych. W wyniku tych działań żadna z głównych wyszukiwarek, czy to Bing, czy DuckDuckGo, nie może obecnie udostępniać najnowszych postów i komentarzy Reddita w wynikach wyszukiwania. Żadna z nich, poza Google.

Więc jeśli próbowałeś wyszukać ostatnie wyniki Reddita w zapytaniu wyszukiwarki, niestety nie znajdziesz nic. Porównaj wyniki wyszukiwania w Bing i Google dla tego samego zapytania dotyczącego ostatniej dyskusji na temat wiadomości:

Reddit w ostatnim czasie staje się coraz bardziej opiekuńczy wobec swoich danych, co jest zrozumiałe. Będąc popularnym forum społecznościowym, na którym ludzie spotykają się, aby dyskutować i rozmawiać o swoich zainteresowaniach, Reddit jest prawdziwą kopalnią złota dla szkoleń AI. Jednak Reddit rozumie, podobnie jak firmy AI, jak nieocenionym zasobem jest ta strona internetowa w czasach, gdy chatboty AI przejmują sieć.

Aby chronić swoje interesy, Reddit zaktualizował plik robots.txt, aby uniemożliwić robotom indeksującym dostęp do witryny. Ten ruch nastąpił po kilku nieudanych próbach osiągnięcia porozumienia z różnymi wyszukiwarkami w sprawie korzystania przez nie z treści Reddita. Rozprawienie się z wyszukiwarkami i uniemożliwienie im scrapowania danych jest jasnym sygnałem, że ci, którzy nie mają porozumienia, nie powinni uzyskiwać dostępu do treści Reddita.

Obecnie Google jest jedyną dużą wyszukiwarką, która może wyświetlać posty i komentarze Reddita w wynikach wyszukiwania. I to nie przypadek. Chociaż rzecznik Reddita wspomniał w oświadczeniu, że „[t]o w ogóle nie jest związane z naszym niedawnym partnerstwem z Google”, niełatwo jest nie zauważyć umowy o wartości 60 milionów dolarów, która pozwoliła Google na trenowanie swojego modelu AI na danych Reddita. Podobno umowa obejmowała również dostęp w czasie rzeczywistym do treści Reddita.

Wiadomość z Reddita jest wystarczająco jasna: Zapłać lub przegap. Większość firm, w tym Microsoft, przyznała się. W oświadczeniu Microsoft powiedział:

„Przestrzegamy standardu robots.txt. Bing przestał indeksować Reddit po tym, jak 1 lipca wdrożyli zaktualizowany plik robots.txt, który zabrania wszelkiego indeksowania ich witryny”.

Ci, którzy korzystają z wyszukiwarek innych niż Google, są w wyraźnej niekorzystnej sytuacji, głównie dlatego, że funkcja wyszukiwania Reddita nie działa tak dobrze jak wyszukiwarki w znajdowaniu odpowiednich treści. Na razie, jeśli chcesz uzyskać najnowsze wyniki z Reddita, używając sztuczki „site:reddit.com” lub dodając do zapytania słowo „Reddit”, musisz najpierw otworzyć Google.