g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

job_desc = get_job_desc (positionId)

positionName_list.append (positionName)

salary_list.append (maaş)

city_list.append (şehir)

district_list.append (bölge)

companyShortName_list.append (companyShortName)

education_list.append (eğitim)

workYear_list.append (workYear)

IndustryField_list.append (industryField)

FinanceStage_list.append (FinanceStage)

companySize_list.append (companySize)

# job_desc_list.append (job_desc)

4. İş tanımını alın

Gözlem, belirli bir konumun ayrıntılı sayfasını açarken, URL'deki değerin (örneğin, aşağıdaki URL'deki 4789029), önceki adımda JSON konum listesinden elde edilebilen konumun konum kimliği olduğunu göstermektedir.

İstekler yoluyla sayfa bilgisi isteyin ve ardından xpath aracılığıyla iş tanımı bilgilerini alın.

def get_job_desc (id):

url = "https://www.lagou.com/jobs/"+str(id)+".html"

çerez = "JSESSIONID =" + get_uuid () + ";" \

"user_trace_token =" + get_uuid () + "; LGUID =" + get_uuid () + "; index_location_city =% E6% 88% 90% E9% 83% BD;" \

"SEARCH_ID =" + get_uuid () + '; _gid = GA1.2.717841549.1514043316;' \

'_ga = GA1.2.952298646.1514043316;' \

'LGSID =' + get_uuid () + ";" \

"LGRID =" + get_uuid () + ";"

headers = {'cookie': cookie, 'origin': "https://www.lagou.com", 'x-anit-forge-code': "0", 'accept-encoding': "gzip, deflate, br ", 'kabul dili':" zh-CN, zh; q = 0.8, en; q = 0.6 ", 'kullanıcı aracısı':" Mozilla / 5.0 (Windows NT 10.0; WOW64) AppleWebKit / 537.36 (KHTML, Gecko gibi) Chrome / 55.0.2883.87 Safari / 537.36 ", 'content-type':" application / x-www-form-urlencoded; charset = UTF-8 ", 'accept':" application / json, text / javascript, * / *; q = 0.01 ", 'yönlendiren':" https://www.lagou.com/jobs/list_Java?px=newcity=%E6%88%90%E9%83%BD",'x-requested -with ': "XMLHttpRequest",' connection ': "canlı tutma",' x-anit-forge-token ': "None",' cache-control ': "no-cache",' postman-token ': "91beb456-8dd9-0390-a3a5-64ff3936fa63"}

yanıt = request.request ("GET", url, başlıklar = başlıklar)

x = etree.HTML (response.text)

veri = x.xpath ('// * / dd / div / * / text ()')

return ''. join (veri)

Veri toplama tarayıcısı

1. Çerezleri ve üstbilgileri ayarlayın

İlgili bilgileri ayarlamazsanız, taramaya izin verilmez ve şu komut istemi döndürülür: "Çok sık ameliyat ettiniz, lütfen daha sonra tekrar ziyaret edin." Bu nedenle, başlıkları ve çerez bilgilerini ayarlamamız gerekir.

def get_lagou (sayfa, şehir, kd):

url = "https://www.lagou.com/jobs/positionAjax.json"

querystring = {"px": "new", "city": city, "needAddtionalResult": "false", "isSchoolJob": "0"}

payload = "ilk = falsepn =" + str (sayfa) + "kd =" + str (kd)

çerez = "JSESSIONID =" + get_uuid () + ";" \

"user_trace_token =" + get_uuid () + "; LGUID =" + get_uuid () + "; index_location_city =% E6% 88% 90% E9% 83% BD;" \

"SEARCH_ID =" + get_uuid () + '; _gid = GA1.2.717841549.1514043316;' \

'_ga = GA1.2.952298646.1514043316;' \

'LGSID =' + get_uuid () + ";" \

"LGRID =" + get_uuid () + ";"

headers = {'cookie': cookie, 'origin': "https://www.lagou.com", 'x-anit-forge-code': "0", 'accept-encoding': "gzip, deflate, br ", 'kabul dili':" zh-CN, zh; q = 0.8, en; q = 0.6 ", 'kullanıcı aracısı':" Mozilla / 5.0 (Windows NT 10.0; WOW64) AppleWebKit / 537.36 (KHTML, Gecko gibi) Chrome / 55.0.2883.87 Safari / 537.36 ", 'content-type':" application / x-www-form-urlencoded; charset = UTF-8 ", 'accept':" application / json, text / javascript, * / *; q = 0.01 ", 'yönlendiren':" https://www.lagou.com/jobs/list_Java?px=newcity=%E6%88%90%E9%83%BD",'x-requested -with ': "XMLHttpRequest",' connection ': "canlı tutma",' x-anit-forge-token ': "None",' cache-control ': "no-cache",' postman-token ': "91beb456-8dd9-0390-a3a5-64ff3936fa63"}

2. Gecikme ayarı ve sayfa tarama

Tarama hızının çok hızlı engellenmesini önlemek için gecikme süresini 3-5 saniyeye ayarlayın. Sayfalama verileri, for döngüsü aracılığıyla taranır.

def main (sayfalar, şehir, iş):

aralıktaki n için (1, sayfa + 1):

get_lagou (n, şehir, iş)

time.sleep (round (random.uniform (3, 5), 2))

write_to_csv (şehir, iş)

Veri depolama ve işleme

1. CSV veri depolama

Az miktarda veri nedeniyle, CSV depolaması kullanılarak 450 parçaya kadar veri.

2. Veri işleme

• Maaş veri işleme

Aylık maaş oranına ilişkin takip istatistikleri, maaş aralığı özelleştirilebildiğinden, tek tip bir standart yoktur. Örneğin, maaş 10k-20k, 5k-8k, 11k-18k, 10k-16k vb. Olabilir. Takip, maaş aralığının görselleştirilmesine elverişli değildir, bu nedenle maaş şu türlerde sınıflandırılabilir: 2k-20k-5k, 5k-10k , 10k-15k, 15k-25k, 25k-50k, 50k ve üzeri.

Maaş 10k-20k ise 10k-15k ve 15k-25k olmak üzere iki kategoriye dahil edilmiş sayılır. Sınıflandırmak ve özetlemek için normal ifadeler kullanın:

def maaş_categorize (maaşlar):

dict = ('2k-5k': 0, '5k-10k': 0, '10k-15k': 0, '15k-25k': 0, '25k-50k': 0, "50.000 ve üstü": 0}

maaş maaşı için:

yeniden eşleşirse ('^ k- * |. * - k $', maaş)! = Yok:

dikte + = 1

yeniden eşleşirse ('^ k- * |. * - k $', maaş)! = Yok:

dikte + = 1

yeniden eşleşirse ('^ k- * |. * - k $', maaş)! = Yok:

dikte + = 1

eğer yeniden eşleşirse ('^ 1k- * |. * - 1k $', maaş)! = Yok:

dikte + = 1

eğer yeniden eşleşirse ('^ 1k- * | ^ 2k- * |. * - 1k $ |. * - 2k $', maaş)! = Yok:

dikte + = 1

yeniden eşleşirse ('^ 2k- * | ^ k- * |. * - 2k $ |. * - k $', maaş)! = Yok:

dikte + = 1

yeniden eşleşirse ('^ k- * |. * - k $ | ^ \ d {3,} k- * |. * - \ d {3,} k $', maaş)! = Yok:

dikte + = 1

dönüş kararı

• Sanayi Bilgi İşleme

Şirket, genellikle virgülle ayrılmış birden çok sektöre aittir, ancak bazıları virgül ve boşluklarla ayrılmıştır ve ilgili endüstrilerin belirtilmediği durumlar olabilir. Bu bağlamda, Python'un yeniden kütüphanesi, ayırıcılarla ayrılmış birden fazla veriyi işleyebilir, eğer endüstri boşsa, atlayın.

def industryField_counts (csv_file):

IndustryFields =

d = pd.read_csv (csv_file, motor = 'python', kodlama = 'utf-8')

bilgi = d

aralıktaki i için (len (bilgi)):

Deneyin:

data = re.split ('', bilgi )