python、Java、大数据和Andr

　　莫名其妙，从去年年底开始，python这个东西在中国，突然一下子就火起来了，直至现在，他的热度更是超越了java，成为软件工程师最为关注的话题。Python之所以能火起来，很大一方面是因为大数据、人工智能和机器学习越来越受人关注的原因，那么，伴随着Python的火热，他的薪资是否也相应的高了起来了呢？于是，针对这个话题，在今年暑假，我做了一个关于Python、java和大数据和安卓的工作岗位的调查。

　　Java火了几十年，工作也是所有编程语言中最容易找的，这里面有很大一部分原因是由于安卓还得由Java开发（即使现在出了Kotlin），那么Python和大数据的工作状态又是怎么样的呢？于是在这里，我从51job中爬取了这四个职业的相关情况。

 

一、项目介绍

 

主要目标

1、分析python、Java、大数据和Android岗位的薪资如何？

2、分析python、Java、大数据和Android岗位在全国的分布情况

3、python、Java、大数据和Android的前景到底如何？

 

环境

win7、python2、PyCharm

 

技术

1、数据采集：scrapy、

2、数据存储：csv文件、JSON文件

3、数据清洗：pandas

4、可视化：matplotlib、百度地图api

 

二、爬取

在招聘网上分别搜索这四个职业，查看了一下url、页码和需要爬取的数据，求出xpath：

 

使用scrapy框架进行爬取，代码如下：

items:

import scrapy


class Job51Item(scrapy.Item):
    # 职位名
    jobname = scrapy.Field()

    # 公司名
    company = scrapy.Field()

    # 工作地点
    work_place = scrapy.Field()

    # 薪资
    salary = scrapy.Field()

    # 职位链接
    joblink = scrapy.Field()

spiders:

# -*- coding: utf-8 -*-
import scrapy
from ..items import Job51Item


class JobSpider(scrapy.Spider):
    name = 'job'
    allowed_domains = ['51job.com']
    offset = 1

    # ------------
    # 控制链
    lang = '安卓'   # 职位
    page = 260    # 页码
    # ------------

    start_urls = ['https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%d.html'%(lang,offset)]

    def parse(self, response):

        ajob = response.xpath('//div[@id="resultList"]/div[@class="el"]')

        for job in ajob:

            item = Job51Item()

            item['jobname'] = job.xpath('./p/span/a/@title').extract()

            item['company'] = job.xpath('./span[1]/a/text()').extract()

            item['work_place'] = job.xpath('./span[2]/text()').extract()

            item['salary'] = job.xpath('./span[3]/text()').extract()

            item['joblink'] = job.xpath('./p/span/a/@href').extract()

            yield item

        if self.offset <= self.page:
            self.offset += 1
            yield scrapy.Request(url='Https://search.51job.com/list/000000,000000,0000,00,9,99,%s,2,%d.html'%(self.lang,self.offset),callback=self.parse)

修改控制链中的lang和page变量，分别爬取4个职位。

运行scrapy：scrapy crawl job -o android1.csv

数据保存在一个csv文件中，会得到5个csv文件，对应4种职位，其中Android有Android和安卓：

 

接下来对文件去重合并：

# -*- coding: utf-8 -*-
import pandas as pd

java_job = pd.read_csv('data/job_java.csv')
# print java_job.shape
# (100000, 5)

python_job = pd.read_csv('data/job_python.csv')
# print python_job.shape
# (41421, 5)

bigdata_job = pd.read_csv('data/job_bigdata.csv')
# print bigdata_job.shape
# (61191, 5)

android1_job = pd.read_csv('data/job_android1.csv')
# print android1_job.shape
# (31734, 5)

android2_job = pd.read_csv('data/job_android2.csv')
# print android2_job.shape
# (12961, 5)

df = pd.concat([java_job,python_job,bigdata_job,android1_job,android2_job])
# df = python_job.append(java_job).append(bigdata_job)
# print df.shape
# (202612, 10)
# 添加Android12之后：(247308, 5)

# df.to_csv('data/job.csv',index=False)
df.drop_duplicates(inplace=True)
print df.shape
# (168544, 5)
# (192781, 5)
df = df.reindex(columns=[u'jobname', u'work_place', u'salary', u'company', u'joblink'])
df.to_csv('data/job.csv',index=False)

文件：

部分文件结果截图：

 

接着跟进链接，爬取职位详细信息，如图：

代码如下：

items:

class BaseJobItem(scrapy.Item):

    # 职位链接
    job_link = scrapy.Field()

    # 职位信息
    job_info = scrapy.Field()

    # 职能类型
    job_type = scrapy.Field()

 

spiders：

 

# -*- coding: utf-8 -*-
import scrapy
from ..items import BaseJobItem
import pandas as pd


def get_link():

    df = pd.read_csv('../data/job.csv',encoding='utf-8')

    return df['joblink']


class JobSpider(scrapy.Spider):
    name = 'basejob'
    allowed_domains = ['51job.com']

    start_urls = get_link()

    def parse(self, response):

        item = BaseJobItem()

        job_info = response.xpath('//div[@class="bmsg job_msg inbox"]/p/text()').extract()
        job_type = response.xpath('//div[@class="bmsg job_msg inbox"]/div[@class="mt10"]/p[1]/span[@class="el"]/text()').extract()

        item['job_link'] = response.url
        item['job_info'] = job_info
        item['job_type'] = job_type

        return item

 

运行：scrapy crawl basejob -o basejob.csv

 

 

数据量有点大，话费了三个小时爬完。

效果如下：

 

文件有184M：

接下来将两个文件(job.csv和basejob.csv)合并：

# -*- coding: utf-8 -*-
import pandas as pd

df1 = pd.read_csv('./data/basejob.csv',header=0,encoding='utf-8',names=u'job_info,job_type,joblink'.split(','))

df2 = pd.read_csv('./data/job.csv',encoding='utf-8')

# print df1.head()
df = pd.merge(df1,df2,on='joblink')

print df.sample(5)

df = df.reindex(columns=u'jobname,work_place,salary,company,joblink,job_type,job_info'.split(','))
df.to_csv('./data/zhaoping.csv',index=False,encoding='utf-8')
# ,index_label=u'jobname,work_place,salary,company,joblink,job_type,job_info'.split(',')

 

得到最终文件zhaoping.csv：

 

 三、分析

这四种职业的薪资如何呢？针对这个问题，我将这些数据进行清洗，然后分析再使之可视化。

因为只需要分析薪资，所以知道职位和薪资的字段就行了，这里使用job.csv文件进行分析。

首先读取数据并清洗：

import pandas as pd

df = pd.read_csv('data/job.csv', encoding='utf-8')

df = df[~df['salary'].isna()]

df['salary'] = df['salary'].apply(get_salary)

 

接下来将薪资格式化：

def get_salary(salary):
    """
    将薪资格式化
    :param salary:薪资，如：1-1.5万/月
    :return: 10K
    """

    time = salary.split('/')[1]
    if salary.__contains__('-'):
        money = salary.split('/')[0][-1]
        salary_num = salary.split('-')[0]
    else:
        salary_num = re.search('\d+',salary.split('/')[0]).group()
        money = salary.split('/')[0].strip(salary_num)
    try:
        salary_num = float(salary_num)
    except:
        print salary,'=',money,salary_num
    if time == u'年':
        salary_num = salary_num/12
    elif time == u'天':
        salary_num *= 30.
    elif time == u'小时':
        salary_num *= 30*12
    if money == u'万':
        salary_num *= 10
    elif money == u'元':
        salary_num /= 1000

    return salary_num

 

获取不同语言的薪资待遇的对比并画图：

def diff_lang():
    """
    获取不同语言的薪资待遇的对比
    :return:
    """

    lang = ['python','java',u'大数据',u'安卓','android']

    avg_salary = map(get_avg_salary,lang)

    # 针对Android和安卓做特殊处理
    lang = lang[:-1]
    avg_salary = avg_salary[:-2]+[sum(avg_salary[-2:])/len(avg_salary[-2:])]

    print lang
    print avg_salary

    for i,j in zip(lang,avg_salary):
        print '%s的平均薪资为:%.3fK' % (i.encode('utf-8'),j)

    p = plt.bar(lang,avg_salary)

    autolabel(p)
    plt.xlabel(u'编程语言')
    plt.ylabel(u'平均薪资')
    plt.title(u'python、java、大数据和安卓职业薪资待遇对比')
    plt.show()

 

还有获取某个编程语言的平均薪资的方法：

def get_avg_salary(lang='',city=''):
    """
    获取某个编程语言的平均薪资
    :param lang: 编程语言名
    :return: 平均薪资
    """
    jobdf = df[df['jobname'].str.contains(lang)]

    if city != '':
        jobdf = jobdf[jobdf['work_place'].str.contains(city)]
        if jobdf.shape[0] < 10:
            return
    sum_salary = jobdf['salary']

    return sum_salary.astype(float).mean()

 

还有画图时显示柱状图上的数值的方法：

def autolabel(rects):
    """
    定义函数来显示柱状上的数值
    :param rects:matplotlib.container.BarContainer
    :return:
    """
    for rect in rects:
        height = rect.get_height()
        plt.text(rect.get_x(), 1.01*height, '%.1f' % float(height))

为了显示中文字还要声明一下字体：

plt.rcParams['font.sans-serif'] = ['kaiti']

运行diff_lang()函数：

从图中可以看出，大数据的薪资是最高的，达到了1W以上，而Python和Java位居二三，却远远没有大数据的薪资高，而安卓在这几个职位中薪资是最低的。

 

然后对同一语言不通地区薪资的待遇进行分析对比：

def diff_place():
    """
    获取同一语言不通地区薪资的待遇
    :return:
    """

    citys = list(df['work_place'].str.split('-').map(lambda x:x[0]).drop_duplicates())

    citys.remove(u'朝阳')
    # 朝阳有点特殊，有些城市直接就是朝阳，不过数量太少，直接忽略了，所以这里做朝阳的特殊处理

    lang = ['python', 'java', u'大数据',u'安卓','android']

    # ls如：['python','北京']
    ls = [[a,b] for a in lang for b in citys]

    # x是某种语言在某个城市的平均薪资
    x = [get_avg_salary(*l) for l in ls]


    info = {}

    for i,j in zip(ls,x):
        # if j != None:
        #     print i[0],i[1],j
        if not info.has_key(i[0]):
            info[i[0]] = {}
            info[i[0]]['city'] = []
            info[i[0]]['avg_salary'] = []
        if j != None:
            info[i[0]]['city'] += [i[1]]
            info[i[0]]['avg_salary'] += [j]

    # info的可能取值如：info = {"python": {"city": ["上海", "成都",...],"avg_salary": [11.974358974358974, 7.016129032258065, ...]},...}

    # 特殊处理:对安卓和Android的数据进行合并
    info = get_android(info)

    with open('./data/inf.json','w') as inf:
        json.dump(info,inf)

    plt.figure(1,(12,6))
    plt.title(u'python、java、大数据和安卓职业各城市薪资待遇对比(单位：K)')
    for l in lang[:-1]:
        plt.subplot(len(lang[:-1]),1,lang.index(l) + 1)

        so = zip(info[l]['city'],info[l]['avg_salary'])
        so.sort(key=lambda x:x[1],reverse=True)
        p = plt.bar(range(len(info[l]['city'])),map(lambda x:x[1],so),label=l)
        plt.xticks(range(len(info[l]['city'])),map(lambda x:x[0],so),rotation=45)
        autolabel(p)
        plt.tight_layout()
        plt.legend()

    plt.show()

 

对安卓和Android的数据进行合并：

def get_android(info):
    """
    对安卓和Android的数据进行合并
    :param info: = {"python": {"city": ["上海", "成都",...],"avg_salary": [11.974358974358974, 7.016129032258065, ...]},...}

    :return: info
    """
    citys = set(info['android']['city']+info[u'安卓']['city'])

    for city in citys:
        i,j = 0, 0
        if city in info['android']['city']:
            i = info['android']['avg_salary'][info['android']['city'].index(city)]
        if city in info[u'安卓']['city']:
            j = info[u'安卓']['avg_salary'][info[u'安卓']['city'].index(city)]
        else:
            info[u'安卓']['city'].append(city)
            info[u'安卓']['avg_salary'].append(i)
        info[u'安卓']['avg_salary'][info[u'安卓']['city'].index(city)] = (i+j)/2
    del info['android']
    return info

 

最后得到同一语言不同地区薪资的待遇结果图如下：

可以以热力图显示数据，这里使用百度的api：

 

# -*- coding: utf-8 -*-
import json
from urllib import urlopen, quote
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def getlnglat(address):
    url = 'http://api.map.baidu.com/geocoder/v2/'
    output = 'json'
    ak = 'FOtHtZ92dCKMjpx0XA05g8VEZn95QWOK'
    add = quote(address.encode('utf-8')) #由于本文城市变量为中文，为防止乱码，先用quote进行编码
    uri = url + '?' + 'address=' + add  + '&output=' + output + '&ak=' + ak
    print uri
    req = urlopen(uri)
    res = req.read() #将其他编码的字符串解码成unicode
    temp = json.loads(res) #对json数据进行解析
    return temp

file = open(r'./data/city.json','w') #建立json数据文件
with open(r'./data/test.json', 'r') as f:

    js = json.load(f)

    data = []
    for k,v in js.iteritems():
        c = {}
        c['city'] = k
        c['points'] = []
        for i in range(len(v['city'])):
            if v['city'][i] == u'异地招聘':
                continue
            lnglat = getlnglat(v['city'][i])  # 采用构造的函数来获取经度
            test = {}
            test['lng'] = lnglat['result']['location']['lng']
            test['lat'] = lnglat['result']['location']['lat']
            test['count'] = v['avg_salary'][i]

            c['points'].append(test)
        data.append(c)

    json.dump(data,file,ensure_ascii=False)

 

 

那么Python在不同地区薪资的待遇热力图如下，其中，越往中间颜色越深薪资越高：

 

 

从上如看出Python 的主要工作地区集中在长江三角洲、珠江三角洲一带，而北京的薪资是最高的还有几个内地城市占比也不低。

那么看一下Java在不同地区薪资的待遇热力图：

 

从图可以看出，Java工作地点同样是集中于那三带地区，不过相比于Python，他的主要工作地点更多，且最高薪资大多集中在珠江三角洲。

再看一下大数据在不同地区薪资的待遇热力图：

目测大数据和Java分布差别不大，不过从图中红色区域分布可以看出，大数据的薪资更高。

最后看一下安卓在不同地区薪资的待遇热力图：

 

安卓的工作分布低于其他的几种（比Python略高点），而且薪资也也不如其他的几门语言。

 

从上述四个热力图分析不难看出：

1、大数据无论是工作地点还是薪资均高于其他三种职业；

2、Python火则火矣，薪资也不低，但工作地点还是太少；

3、Java仍旧是宝刀未老，其工作地点和薪资也仅次于大数据行业；

4、安卓终究过时了，薪资比不上其他三个职业，也就工作地点要比Python多点；

由此观之，大数据的发展空间是最大的，前途也是最好的，Java仍然是不二的选择，Android已过时，Python还待发展。

 

 

再看一下4种职位的岗位分析图

 

先看Python岗位的代码：

 

 

 

# -*- coding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['kaiti']

df = pd.read_csv('./data/job_python.csv',encoding='utf-8')

s = df['jobname'].value_counts()

job = s[s>150]

plt.pie(x =job.values,labels=job.index,autopct='%2.1f%%')

plt.show()

 

其他的同理，最后得到饼图：

Python：

Java：

大数据：

安卓：

 

 

 

最后来看一下Python语言的职能类型词云，代码：

 

# -*- coding: utf-8 -*-
import pandas as pd


df1 = pd.read_csv('./data/job_python.csv',encoding='utf-8')

df2 = pd.read_csv('./data/zhaoping.csv', encoding='utf-8')

df = pd.merge(df1,df2,on=list(df1.columns))

df = df[~df['job_info'].isna()]

dfpy = df[df['job_info'].str.contains('python')]

s = dfpy['job_type'].str.split(',').sum()

# print pd.Series(s).value_counts()
print s

# 绘制词云图：
from Wordcloud import WordCloud
import matplotlib.pylab as plt


wl = " ".join(s)

generate = WordCloud(
    # 'C:/Users/windows/fonts/msyh.ttf'
    font_path = 'C:/Users/Windows/fonts/msyh.ttf',
    background_color='white',
    max_words=30,
    prefer_horizontal = 0.8,
    random_state=88
).generate(wl)

plt.figure(figsize=(8,5))
plt.imshow(generate)
plt.axis("off")
# plt.savefig(u'../day5-2/黑卡词云图.png')
plt.show()

 

 

其他职业的也大致如此.

Python：

Java：

大数据：

安卓：