基于网络爬虫的贝壳二手房市场分析及可视化系统

基于网络爬虫的贝壳二手房市场分析及

可视化系统

1系统分析

1.1可行性分析

简单来说，可行性分析要看产品的可用性。不管怎么样，开发商都要进行市

场调查，从各个层面进行调查，从多个角度分析该模式的开发可行性。通用的可

行性分析涉及到许多方面。下面，我们将从专业可行性、社会经济可行性和社会

经济可行性三个方面进行科学的分析和研究。

1.1.1技术可行性

该系统采用了 python的综合开发语言，将后台数据存储在 Mysql中。

python能够对目标网站的信息进行爬取，并利用 jieba进行分词，根据

matplotlib、 Echarts等方法，产生大量的可视化图像。

1.1.2经济可行性

开发每一个项目的首要目标就是要看看开发人员能否从中获益。经济上的可

行性是衡量一个体系的投入与收益是否能够实现经济上的合理性。系统投资主要

包括软件开发成本、硬件设备购置成本、岗位维护成本、员工工资、培训费用等。

本系统的主要作用是采集和显示采集到的数据。整个系统比较简单，所以开

发费用很低。系统的硬件是一部电脑，而软体则以python及其他相关的软体为

输入。综合来看，本系统具有一定的经济性。

（1）法律要素

在此体系实施前，有详细的需求和大量的研究工作。另外，本系统的软件设

计完全是在一个独立的环境下进行的，不存在对国内外产品的抄袭行为，也不存

在侵权行为。这个软件是完全合法的。开发过程中，充分遵循了法律法规，明确

了业主与开发商的责任。无违法情形，使用者可安心使用。

（2）用户可行性

本系统具有操作简便、快速、实用的特点。使用者可以使用一部电脑进行程

序的操作。因为该系统主要负责数据的读取和可视化的描述，所以数据的采集和

可视化的描述都是由系统完成的，使用者只需要查看结果就可以了。

1.2功能需求分析

该系统的目标是根据 Python提供的二手房数据，建立一个基于 Python的

数据爬取和可视化分析系统。

（1）登录：使用系统需要登录，输入用户名称、用户名、口令。

（2）资讯搜集：在网页的设计中，首先要搜集资讯，搜集目标网站的资讯，

并将搜集自其它网页的资讯储存至资料库。

图1.1系统用例图

2系统设计

2.1设计目标及原则

在本论文中，系统的设计是一个重要的环节，而系统的设计则是整个系统的

顶层架构。设计的好坏直接影响到系统的后期发展，也影响到整个系统的整体表

现。在设计整体的过程中，需要达到下列条件：

(1)资料保密性

该软件的研制需要海量的数据，其中既有使用者的，也有系统的。不管使用

何种资料，资料的安全都要得到保证。为了处理这些隐患，我们需要对整个系统

进行设计。

(2)便于操作

这个体系将会被提供到消费者手中，它可以让使用者根据自己的授权来操作，

它能否被使用，并且它的使用情况会影响到它的顾客，甚至它的公司。采用易操

作的软件可以极大地提升操作人员的工作能力，提升客户对其的忠诚和好感。

本系统工作原理图如图2.1所示：

图2.1 系统工作原理图

2.2.2 系统结构设计

系统设计界面应友好，因为系统界面是人与计算机直接交互的对接处，用户

能否对系统进行操作应用就取决于系统界面能否与用户表达方式一致。做不到一

致将影响用户对系统的理解，更谈不使用。一个优秀的系统设计，要先从系统界

面入手，在从客户的使用角度上出发，结合用户反馈，去设计，改进。因此界面

设计应遵循以下原则：

界面层次分明，布局合理，采用浏览器界面风格，整个系统界面友好、易于

理解、便于用户与系统进行交互。

把执行等相关繁琐环节封装起来，使其在内部执行，将运算尽量设计为一键

式，省去用户等待时间，让用户重点关注到如何去使用功能，不必为功能之外的

图2.2系统结构图

2.2.3 系统设计原则

系统设计原则包含以下几点：

（1）实用性原则，要实现系统应用推广，前提是系统必须要具有实用性。

要使系统能够保证实用性，必须从用户体验出发，系统界面设计务必人性化，使

用户操作起来更加得心应手，界面要友好并温和，在使用过程中过户不会产生排

斥感。

2.3 系统维护分析

近二十年来，系统的维护成本正随着互联网的发展迅猛增加，每年的维护成

本都较之去年高出很多。系统想要永久生存下去，无法脱离的是系统维护，以此

系统维护的重要性，系统的生存就必须依赖于系统维护。

系统维护包括以下几个方面的工作：

（1）程序的维护：过程中，常常会遇到问题，使得程序需要做出相应改动，

这些问题基本是没有办法去避免的，所以务必在每次维护的同时进行最大限度的

改进，否则一旦问题堆积后，完后对程序的改动会比较大，增加了维难度和维护

工作量。

（2）数据库的更新和维护：由于业务发生了变化，数据库可能需要增加或