厦门租房信息分析展示(pycharm+python爬虫+pyspark+pyecharts

厦门租房信息分析展⽰（pycharm+python爬⾍+pyspark+pyecharts。。。

厦门租房信息分析展⽰（pycharm+python爬⾍+pyspark+pyecharts）（踩坑记录）

项⽬地址/blog/2307/

踩坑:

Spark分析⽂件rent_

改变Spark读取csv⽂件的写法

sparkContext = SparkContext("local","rent_analyse")

sqlContext = SQLContext(sparkContext)

df = sqlContext.read.format('').options(header='true', inferschema='true').load(filename)

原写法会报连接错误，同时在读取csv⽂件时需要添加format参数，否则⼜会报错

在读取csv⽂件时⽂件路径需要加上file:///，如：

"file:///develop/sparkSpace/"

如果⽂件参数默认为⽂件名，则Spark会到Hadoop的⽂件系统⾥读取数据，路径为：

"hdfs://localhost:9000/user/root/"

原项⽬⽂件：

# -*- coding: utf-8 -*-

from pyecharts import Bar

def draw_bar(all_list):

print("开始绘图")

attr = ["海沧", "湖⾥", "集美", "思明", "翔安", "同安"]

v0 = all_list[0]

v1 = all_list[1]

v2 = all_list[2]

v3 = all_list[3]

bar = Bar("厦门市租房租⾦概况")

bar.add("最⼩值", attr, v0, is_stack=True)

bar.add("最⼤值", attr, v1, is_stack=True)

bar.add("平均值", attr, v2, is_stack=True)

bar.add("中位数", attr, v3, is_stack=True)

bar.render()

print("结束绘图")

更改后的项⽬⽂件：

# -*- coding: utf-8 -*-

from pyecharts.charts import Bar

from pyecharts import options as opts

def draw_bar(all_list):

print("开始绘图")

attr = ["海沧", "湖⾥", "集美", "思明", "翔安", "同安"]

v0 = all_list[0]

v1 = all_list[1]

v2 = all_list[2]

v3 = all_list[3]

bar = Bar()

bar.add_xaxis(attr)

bar.add_yaxis("最⼩值",v0)

bar.add_yaxis("最⼤值",v1)

bar.add_yaxis("平均值",v2)

bar.add_yaxis("中位数",v3)

bar.set_global_opts(title_opts=opts.TitleOpts(title="厦门市租房租⾦概况"))

# ("", attr, v0, is_stack=True)

最⼩值

# ("", attr, v1, is_stack=True)

最⼤值

# ("", attr, v2, is_stack=True)

平均值

# ("", attr, v3, is_stack=True)

中位数

bar.render()

print("结束绘图")