0引言

我国一直以来都是农业大国，在农产品生产与销售方面具有不可忽视的地位，随着经济的腾飞，人们的收入持续增长，对生鲜农产品、水产品、蔬菜水果、肉类的需求与日俱增，这种持续扩张的消费需求也给农产品冷链物流的发展带来了积极影响，因此其未来的发展前景一片光明[1]。然而，就目前情况来看，国家农产品冷链物流管理的数字化程度仍然不高，需要充分运用大数据技术，对农产品冷链物流管理系统进行完善与优化，依托高效且先进的物流管理技术，提高企业客户黏性，实现冷链物流数据价值的加速提升。

1 大数据时代农产品冷链物流发展现状

目前我国冷链物流行业已经进入迅猛发展的关键期，特别是在农产品冷链物流方面，发展的环境与条件日渐健全，农产品冷链物流初步形成一定的规模。以某些生鲜农产品出口企业为例，他们引进了一些国际领先型管理技术如GMP及HACCP等，全程都可采用严格的低温控制；某些连锁超市也加大了对生鲜农产品检测与销售环节冷链控制的力度，确保市民可以购买到更加安全有保障的产品[2]。然而相较于发达国家，我国的农产品冷链物流并未建立起一体化的冷链物流体系，这也最终导致人们对健康安全食品的需求无法得到有效满足。

1.1 农产品冷链物流技术比较落后，农产品质量难以实时监控

尽管我国的冷链物流迅速崛起，但因为起步晚、基础设施不足，特别是农产品冷链的运输和存储设施面临着一定的挑战与困难，过度老化的设施已无法满足市场需求。由于先进的冷链物流技术并未在农村及城市郊区等地方得到广泛运用，因此大多数生鲜农产品不得不依赖常温方式进行运输和销售。有关资料表明，生鲜农产品，如肉类及果蔬等，若在常温下运输和储存，将会产生20%～30%的损耗率，会严重损害它们的品质，也会导致大量的资源浪费。此外，当前我国企业并未充分关注全程冷链控制，冷链质量监控手段也并不健全，操作者未严格执行温控制度的情况时有发生，导致农产品流通期间全程温控无法得到有效落实，严重影响着产品的质量与安全。此外，一些中小型物流企业受资金所限，无法全程应用现代化的保温制冷技术、相关监测技术以及实施温度控制等，导致无法在供应链各个环节及时共享信息，难以有效跟踪物流全过程的冷链信息。

1.2 冷链物流管理信息系统发展滞后

基于现今冷链物流技术的应用情况不难发现，信息技术及数字技术并未得到广泛运用。第一，流通期间的产品信息管理存在欠缺。第二，仓储过程中包括智能温湿度在内的各类环境因素控制存在欠缺。只有充分运用数字信息技术，才能建立起相对完善的冷链物流系统。但目前，冷链物流技术应用程度普遍不高，使得农产品冷链物流体系的发展严重受限。在整个冷链物流体系中，相关操作员工入职前后并未接受系统化的培训，导致其对该行业的运作流程和农产品特性知之甚少，这也给其工作效率带来了一定的负面影响。冷链物流企业主要通过融合传统和现代模式实现技术传承[3]。但是，仅仰赖老员工经验已跟不上冷链物流前进的步伐，一旦经验存在缺陷或不够科学合理，必将严重制约其发展。而要想确保农产品在冷链运输中的品质，则需要具备熟练的操作技能，然而面向冷链物流人员的培训体系并不健全，培训方法也过于单调。

2 大数据时代农产品冷链物流系统的需求分析

在大数据时代下构建农产品冷链物流系统平台，旨在优化冷链物流企业的管理。基于农产品冷链物流工作实际，这一系统在功能设计方面需要考虑以下需求。

2.1 数据存储与分析需求

农产品冷链物流系统需要用到多种传感器，由此而生成的原始数据量大且类型繁多，传统数据库要有效存储和管理这些数据存在一定的难度。冷链物流中涉及的大量数据存储管理面临的主要挑战在于需要处理多种数据类型，包括结构化、非结构化和半结构化数据。需要清洗所获取的数据并对其进行分类存储管理，以便有效处理不同类型的信息。实际操作中，可将数据存储与分析模块划分为以下几个子模块：第一，数据存储管理。作为分布式文件管理系统，HDFS不仅能存储多份数据，还具有一定的自动恢复机制，这为其确保高容错性提供了有力保障，与此同时还支持处理百万级文件规模。通过浏览器可浏览HDFS列表，并针对文件或文件夹完成一系列操作，如更名、下载、删除以及查找等。冷链物流管理系统运作期间会生成很多小文件，而这些小文件的存储会使Hadoop的使用性能严重下降，最有效的办法就是按照文件类别和大小进行分组合并，以平衡存储和计算性能。第二，数据仓库管理。数据仓库作为数据流水线，主要通过ETL多源获取数据，日常操作中其主要职责是保障ETL流程的顺利和稳定运行[4]。Hive被用作该模块数据仓库的主要工具。第三，数据类别管理。这一模块的主要功能是有效分类和处理不同数据文件。第四，数据分析管理。数据分析功能模块致力于根据结构化数据处理模式，快速、便捷地统计与分析冷链物流系统中所产生的大规模数据。为了寻求价值化信息，该模块利用SQL类型的操作对冷链物流中的关键信息如湿度、温度、时间、转载量以及制冷技术等进行监测，同时对其展开深入的分析与挖掘。

2.2 系统拓展和稳定性需求

农产品冷链物流管理系统不仅要实现上述数据的存储和分析需求，还需满足大容量存储和扩展性需求，此平台支持存储大规模、多样化的冷链物流数据，包括非结构化、结构化和半结构化数据，并对其进行存储管理。其分布式文件存储能力允许数据分布在多个服务器上，以满足数据存储和分析的需求[5]。该平台具备灵活性，能够基于实际业务需求变化随时增加服务器节点，以增强计算与存储能力。此外，该平台不仅支持开发，而且还能从多个方面为上层应用提供相应的服务。农产品冷链物流系统平台应具有稳定性，即便集群中某个节点宕机或一些进程中断导致服务故障，整个平台仍然能顺利运行。不同任务和服务应相互隔离，确保独立运行。此外，还应多次备份平台中所存储的文件，以便于在遭遇损坏时可迅速恢复，从而保障数据的完整性与可靠性。

2.3 高效安全及可视化需求

农产品冷链物流系统平台利用集群多处理器所具有的分布式计算特性，来满足农产品冷链物流的大数据处理需求。平台的活跃节点数量与计算速度呈正相关，支持使用Java等编程语言进行程序开发，同时可以高效处理SQL类型数据。为了保障数据安全，避免出现泄露风险，平台应建立健全相应的安全机制。详细记录货物流转的每一环节，确保信息查询可以追溯到源头，尽可能降低丢包风险[6]。除此之外，为有效提升用户使用体验，农产品冷链物流系统特设可视化界面，用于呈现冷库及车厢环境信息、共享车辆路径和有关统计数据等，使用户操作更加直观便捷。

3 大数据时代农产品冷链物流系统的功能模块设计

随着大数据时代的开启，农产品冷链物流的功能需求也发生了一定的改变，结合农产品冷链物流实际，设计如下功能模块。

3.1 大数据存储及分析模块设计

在大数据存储及分析模块中，通过数据处理及关联分析、数据监控、信息可视化等多元化功能，安全存储、聚合并有效处理整个农产品冷链物流各个环节中的海量数据，从而在全流程调度中发挥积极作用，使相关管理人员能够第一时间获取市场供求、农产品、车辆运输、仓库等相关状态信息，并在了解相关信息的基础上制定科学合理的策略。第一，存储数据。有效处理市场供求订单、农产品、仓库以及车辆运输等相关信息之后，再划分不同的数据类别进行区别存储管理，再分布式存储各个类别数据并加以统计。[7]在农产品冷链物流管理的各个环节中，包含农产品出入库、物流订单、车辆、仓储以及监控农产品运输全程的环境信息等结构化数据。另外，在农产品冷链物流平台中，存储包括物流订单、驾驶过程中安全行驶视频文件、冷库监测视频文件等非结构化数据。在存储多媒体文件的过程中，还会同步存储订单和货物的基本信息、视频相关基本信息等相关非结构化数据。系统引入HBase方式有效存储文件，HBase在列的基础上形成数据库，可以大大简化删减数据表等相关数据的操作。第二，数据监控。实时监控各个农产品冷链物流环节的有关数据，第一时间预警提示非正常数据。在数据监控的过程中，主对冷库环境信息、订单详情、车厢环境、农产品信息、其他数据等信息进行有效监控。第三，处理数据并有效分析关联性内容。查找、删减并实时更新Mysql,Hive,HBase等不同类型的文件，再将相关数据加以整合以进一步深挖相关信息，并将其转换成服务内容，使之在满足不同客户多元化需求的过程中发挥积极作用。第四，信息可视化。对于基于大数据基础的农产品冷链物流管理平台而言，可以从农产品信息、车辆运输信息、冷库信息等方面着手进行可视化展示。第四，数据仓库。该平台的数据仓库平台是Hive。将存储表与HDFS的文件夹或目录一一对应。在Hive中引入Metastore数据存储库存储数据，有效进行仓库数据管理。其中记录了各个数据表的路径、名称以及属性等相关信息。另外，系统引入Mysql数据库有效存储Metastore。

3.2 农产品市场供求分析模块

只有全面了解农产品冷链物流市场供求关系的具体情况，才能统筹规划合理分配资源，进而提高交易效率，有效规避牛鞭效应。在重点关注物流资讯、市场消费情形等信息的基础上进行市场供求关系管理。通过市场消费情形获取不同区域消费人口数量并加以统计。有更多的人口量的区域就意味着有更大的农产品需求量[8]。客观掌握不同区域消费群体的消费习惯、收入水平以及对农产品价格的预期数据，实时了解市场成交动态，以此为基础统筹制定生产和采购计划，进而逐步优化配置资源。物流资讯是指汇总整理不同区域各个交通道路的物流资讯并加以分析，全方位掌握不同区域动态的农产品市场供求信息，以此为基础逐步优化物流信息，在保证物流效率的同时促成交易。

3.3 仓储与运输模块

通常情况下，冷库为了保证农产品的新鲜度，设定的冷库温度在0～-10℃之间，这样的温度范围内能够有效降低水的蒸发速率，抑制农产品的呼吸作用。仓储管理顾名思义是管理冷库环境、出入库农产品和库内等信息。第一，管理冷库环境。定期检测冷库的湿度、温度以及含氧量等数据，确保相关数据符合冷库仓储和运输需求。第二，管理农产品入库信息。整理农产品入库信息并做好入库农产品类别、批次、入库时间、价格、数量等数据的记录，以此为基础统筹制定入库调度计划。第三，管理农产品出库信息。统计出库农产品批次、价格、出库时间、类别等相关数据并做好记录，以此为基础统筹制定出库调度计划[9]。第四，做好库内管理。设置冷库内盘点流程，结算冷库内农产品货物，实时监测当下各个冷库的情况，实时了解不同冷库实际库存余量。另外，把冷链物流管理的核心放在对订单派送流程的有效管理上，内容包括冷链物流配送货物信息、运输车辆基本信息以及配送事故的处理等。

3.4 农产品信息管理模块

确保农产品品质的关键在于完成采摘和加工之后将其立即置于冷库冷藏。这一过程中需要加强对很多数据信息的管理，如产品、存储、加工以及流通环节信息等。所处环境不同，各类农产品的保鲜时间也存在显著差异[10]。因此，系统内必须记录和存储各类农产品的相关信息，这些信息需涵盖农产品的细节（包括品名、产地、批次以及采摘时间等）、加工情况（包括农场和企业信息以及包装时间等，还有记录生产过程信息）、存储信息（包括仓库与车厢内的温湿度记录、出入库时间、订单信息以及派送记录等），以及流通环节的管理信息（包括收购价格、购进数量、不同经销商情况以及认证标准等）。

4 结语

当今，农产品冷链物流可谓蓬勃发展，由此而生成的数据类型和数量也与日俱增，对农产品冷链物流系统的数据分析与处理能力提出了更高的要求。本文在深入分析大数据环境下农产品冷链物流管理系统对大规模数据处理需求的基础上，提出与该系统平台相适应的功能设计，为科学合理地运用大数据技术，完善并改进冷链物流企业管理信息系统，满足企业物流的高水平管理需求，全面提高物流管理成效奠定了坚实的理论基础。