Nasz robot indeksujący oferty

Czym jest

• Robot o nazwie MyInterviewerJobIndex, wersja 1.0. Działa według harmonogramu, kilka razy dziennie, i w każdym żądaniu przedstawia się powyższym User-Agent, który prowadzi do tej strony.
• Odczytuje publiczne kanały ofert, które systemy rekrutacyjne pracodawców udostępniają na potrzeby stron kariery. Nie odczytuje serwisów z ogłoszeniami, sieci społecznościowych ani wyników wyszukiwania.

Co pobiera

Wyłącznie publiczny kanał lub API tablicy ofert pracodawcy, na hostach tych dostawców:

• Greenhouse: boards-api.greenhouse.io
• Lever: api.lever.co
• Ashby: api.ashbyhq.com
• Workable: apply.workable.com
• Teamtailor: strony kariery w domenie teamtailor.com, jedna subdomena na pracodawcę
• Traffit: strony kariery w domenie traffit.com, jedna subdomena na pracodawcę
• Nigdy się nie loguje, nie wysyła ciasteczek, nie próbuje obejść CAPTCHA ani innego zabezpieczenia i nie podąża za przekierowaniami. Wysyła wyłącznie żądania GET.

Jak często i jak delikatnie

• Zanim odwoła się do hosta, odczytuje jego plik robots.txt. Przestrzega reguł Disallow dla MyInterviewerJobIndex lub dla wszystkich robotów, dla dokładnie tego adresu, który chce pobrać, oraz przestrzega Crawl-delay (czeka do minuty między wywołaniami).
• Gdy robots.txt nie daje się odczytać z powodu błędu serwera, robot pomija ten host w danym przebiegu. Gdy pliku nie ma (404), kontynuuje.
• Do jednego hosta wysyła jedno żądanie naraz i robi przerwy między żądaniami. Gdy host odpowiada 429 lub 503, robot czeka tak długo, jak wskazuje Retry-After, ponawia tylko kilka razy, a potem zostawia ten host w spokoju do końca przebiegu.
• Ponownie prosi o kanał tylko wtedy, gdy mógł się zmienić (If-None-Match i If-Modified-Since), i odrzuca odpowiedzi przekraczające limit rozmiaru.
• Odczytuje wiersze Content-Signal, które niektóre strony publikują w robots.txt, i je zapisuje w dzienniku. Na podstawie odczytanych treści nie trenuje żadnego modelu AI.

Co przechowujemy

• Dla każdej oferty: tytuł, lokalizację w zapisie pracodawcy, wersję opisu w czystym tekście, link pracodawcy do oferty oraz daty podane przez pracodawcę. Nazwę pracodawcy dodajemy z własnej listy.
• Nic o osobach korzystających z My Interviewer. Wyszukiwanie odbywa się na naszej kopii, a to, co ktoś wpisze, nie trafia ani do pracodawcy, ani do dostawcy.
• Każdy wynik prowadzi do strony pracodawcy. Oferta wycofana przez pracodawcę znika z wyników od razu po naszym następnym udanym odczycie, a tydzień później jest usuwana.
• Prowadzimy dziennik naszych żądań (host, adres bez zapytania, kod odpowiedzi, czas, rozmiar). Nie zawiera danych użytkowników i jest usuwany po 90 dniach.
• Nic z przechowywanych treści nie służy do trenowania modeli AI, naszych ani cudzych. Gdy ktoś zdecyduje się ćwiczyć pod daną ofertę, jej treść służy do przygotowania pytań wyłącznie dla tej osoby.

Jak poprosić o zaprzestanie lub usunięcie ofert

• Dodaj w pliku robots.txt regułę dla MyInterviewerJobIndex (lub dla wszystkich robotów). Odczytujemy go przed każdym przebiegiem i przechowujemy do 24 godzin.
• Możesz też napisać na poniższy adres, podając pracodawcę lub stronę oraz to, co usunąć. Odpowiadamy w ciągu 2 dni roboczych. Gdy potwierdzimy, że prośba pochodzi od strony lub pracodawcy, usuwamy oferty w ciągu 24 godzin.
• Możemy przestać odczytywać jednego pracodawcę bez czekania na nowe wydanie naszego oprogramowania.

Linki wklejane przez użytkowników

• Gdy użytkownik wkleja do My Interviewer link do oferty pracy, nasz serwer otwiera tę jedną stronę raz, aby odczytać dla niego treść oferty. Nie robi nic więcej w Twoim serwisie: nie podąża za linkami i nie wraca.
• Przy takim pobraniu najpierw sprawdzamy robots.txt strony. Jeśli strona na to nie pozwala, prosimy o wklejenie treści oferty. Tak samo jest, gdy pracodawca lub strona poprosiły nas o zaprzestanie: ich stron nie pobieramy także dla wklejonego linku.
• Własne żądanie o taką stronę wysyłamy ze zwykłym User-Agent przeglądarki, a nie robota, bo wiele stron kariery odrzuca nieznane. Tylko sprawdzenie robots.txt wysyłamy z powyższym User-Agent robota, i oceniamy je według tych samych reguł. Jeśli link przekierowuje, sprawdzamy każdy adres po drodze (robots.txt, listę stron, których nie pobieramy, strony logowania) i podążamy tylko za krótkim łańcuchem przekierowań, a przy pętli przerywamy.
• Jeśli nasze własne żądanie nie zwróci oferty, na przykład bo strona je odrzuci, możemy przekazać ten jeden link zewnętrznemu czytnikowi, Jina AI (Jina Reader), który sam pobiera stronę i odsyła czysty tekst. Używamy go wyłącznie dla linku wklejonego przez użytkownika, nigdy dla robota indeksującego. Nie używamy go, gdy robots.txt strony tego zabrania, gdy strona jest na liście tych, których nie pobieramy, ani gdy to strona logowania. Jina pobiera ze swoim User-Agent i według własnych reguł, na które nie mamy wpływu. Jina jest wymieniona wśród firm przetwarzających dane na nasze zlecenie w Polityce prywatności.

Asystent przygotowań

• Osoba może poprosić opcjonalnego asystenta przygotowań o przeczytanie strony firmy, którą sama wpisała w swoim planie, żeby napisał dla niej krótki brief ze źródłami. Otwiera tylko adresy wpisane przez osobę, raz, nigdy nie podąża za linkiem znalezionym na stronie i wysyła powyższy User-Agent robota, więc jedna nazwa w Twoich logach i jedna grupa w robots.txt, MyInterviewerJobIndex, obejmuje go.
• Zanim otworzy stronę, czyta robots.txt tej witryny i jest oceniany według tych samych reguł co robot. Jeśli witryna na to nie pozwala, brief informuje, że strony nie odczytano.
• W skrócie: robot i odczyty stron przez asystenta wysyłają powyższy User-Agent; przy wklejonym linku do oferty wysyła go tylko sprawdzenie robots.txt (zob. sekcję o wklejanych linkach). Wszystkie trzy są oceniane według grupy MyInterviewerJobIndex albo, gdy jej nie ma, według grupy dla wszystkich robotów.