一.项目需求
批量上传图片，然后批量导入（使用excel）每个图片对应的属性（属性共十个，即对应十个字段，其中外键三个）。
二.问题
一次可能上传成百上千张图片和对应字段，原来数据库的设计我将图片和对应属性放在一张表中，图片不可能和对应字段一起批量导入，如果先导入图片，其他字段必须允许为空，且在导入对应属性时，会遍历刚上传已经存在数据库中的图片，然后更新数据库，增加对应属性，这样会给服务器造成很大的压力，且很有可能出现错误（如图片对应不上，因此很多字段为空或只有图片，会使很多错误很难捕捉。）
三.实践中的解决方法
1.分成两张表：
我首先想到将图片和对应字段分开成两张表，先上传图片，然后在导入对应属性，然而仔细一想，问题似乎解决得不完善，导入使如何对应图片id，还是直接对应图片名，还有是否有可能图片已经保存到数据库，但是excel中没有该图片的信息，这也会浪费很多的空间，因此此方法还有待提高。
2.使用缓存：
然后我最后想到了缓存，也决定使用该方法批量上传与导入，思路大概是：上传图片先暂时存入缓存（我这里时图片名为键，图片临时文件对象为值），设置一定的时效，然后在上传excel判断excel的格式及列标题等，这些都对应时，然后将外键数据从数据库取出，一行一行判断excel中的数据的外键是否满足，以及图片是否在缓存中，如果条件都满足，然后这一行数据构成数据库中的一个Queryset对象存入列表，这样就将数据验证完毕，最后验证完所有的数据后，使用bulk_create()方法批量写入，或者可以使用get_or_create()方法批量导入（可以去重，但更耗时）。
2.1图片和excel文件上传序列化如下：
class RockImageSerializer(serializers.Serializer):
imgs = serializers.ListField(child=serializers.FileField(max_length=100,
), label="地质薄片图片",
help_text="地质薄片图片列表", write_only=True) def create(self, validated_data):
try:
imgs = validated_data.get('imgs')
notimg_file = []
for img in imgs:
img_name = str(img)
if not img_name.endswith(('.jpg', '.png', '.bmp', '.JPG', '.PNG', '.BMP')):
notimg_file.append(img_name)
else:
# 将图片加入缓存
cache.set(img_name, img, 60 * 60 * 24)
if notimg_file:
return {'code': -2, 'msg': '部分未上传成功，请检查是否为图片，失败文件部分如下：{0}'.format(','.join(notimg_file[:10]))}
return {'code': 1}
except Exception as e:
return {'code': -1} def validate_imgs(self, imgs):
if imgs:
return imgs
else:
raise serializers.ValidationError('缺失必要的字段或为空') class SourceSerializer(serializers.Serializer):
"""
批量上传序列化（excel）
"""
source = serializers.FileField(required=True, allow_empty_file=False,
error_messages={'empty': '未选择文件', 'required': '未选择文件'}, help_text="excel文件批量导入",
label="excel文件")
2.2view视图如下：
class ImageViewset(viewsets.GenericViewSet, mixins.CreateModelMixin, mixins.ListModelMixin):
parser_classes = (MultiPartParser, FileUploadParser,)
authentication_classes = (JSONWebTokenAuthentication, SessionAuthentication)
serializer_class = RockImageSerializer
queryset = RockImage.objects.all() def create(self, request, *args, **kwargs):
serializer = self.get_serializer(data=request.data)
success_status = serializer.is_valid()
if not success_status:
errors = serializer.errors
first_error = sorted(errors.items())[0]
return Response({'code': -1, 'msg': first_error[1]},
status=status.HTTP_400_BAD_REQUEST)
serializer_code = self.perform_create(serializer)
if serializer_code['code'] == 1:
headers = self.get_success_headers(serializer.data)
return Response({'code': 1, 'msg': '添加成功'}, status=status.HTTP_201_CREATED, headers=headers)
elif serializer_code['code'] == -2:
return Response({'code': -2, 'msg': serializer_code['msg']}, status=status.HTTP_400_BAD_REQUEST)
else:
return Response({'code': -2, 'msg': '图片上传过程中发生意外，请稍后重试'}, status=status.HTTP_400_BAD_REQUEST) def perform_create(self, serializer):
return serializer.save() class NewRockDetailViewset(viewsets.GenericViewSet, mixins.CreateModelMixin):
"""
批量上传字段接口
"""
authentication_classes = (JSONWebTokenAuthentication, SessionAuthentication)
serializer_class = SourceSerializer # permission_classes =[SuperPermission] def create(self, request, *args, **kwargs):
serializer = self.get_serializer(data=request.data)
success_status = serializer.is_valid()
if not success_status:
errors = serializer.errors
first_error = sorted(errors.items())[0]
return Response({'code': -1, 'msg': first_error[1]},
status=status.HTTP_400_BAD_REQUEST)
files = request.FILES.get('source')
if files.content_type == 'application/vnd.ms-excel' or files.content_type == 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet':
content = []
# 读取excel文件每次读取25M
for chunk in files.chunks():
content.append(chunk)
try:
ExcelFile = xlrd.open_workbook(filename=None, file_contents=b''.join(content),
encoding_override='gbk')
sheet = ExcelFile.sheet_by_index(0)
total_rows = sheet.nrows
head = sheet.row_values(0)
if total_rows <= 1:
return Response({'code': -3, 'msg': '数据为空或无列标题'})
if head[0] == "图片" and head[1] == "地区" and head[2] == "井号" and head[
3] == "年代地层" and head[
4] == "岩石地层" and head[5] == "偏光类型" and head[6] == "岩性" and head[
7] == "深度" and head[8] == "组分特征" and head[9] == "古生物特征" and head[
10] == "岩性特征" and head[11] == "孔缝特征":
address = Address.objects.filter(region_type=4).values_list('id', 'region')
polarizedtype = PolarizedType.objects.all().values_list('id', 'pol_type')
lithological = Lithological.objects.all().values_list('id', 'lit_des')
add_count = address.count()
pol_count = polarizedtype.count()
lit_count = lithological.count()
all_counts = [add_count, pol_count, lit_count]
add_ids = []
add_datas = []
pol_ids = []
pol_datas = []
lit_ids = []
lit_datas = []
max_num = max(all_counts)
for row in range(max_num):
if row < add_count:
add_ids.append(address[row][0])
add_datas.append(address[row][1])
if row < pol_count:
pol_ids.append(polarizedtype[row][0])
pol_datas.append(polarizedtype[row][1])
if row < lit_count:
lit_ids.append(lithological[row][0])
lit_datas.append(lithological[row][1])
err_data = []
r_data = []
r_sum = 0
for exc_row in range(1, total_rows):
row_value = sheet.row_values(exc_row)
img = cache.get(row_value[0], None)
add_value = row_value[4]
pol_value = row_value[5]
lit_value = row_value[6]
if img and add_value in add_datas and pol_value in pol_datas and lit_value in lit_datas and \
row_value[7]:
r_sum += 1
r_data.append(Rock(image=img, area_detail_id=int(add_ids[add_datas.index(add_value)]),
pol_type_id=int(pol_ids[pol_datas.index(pol_value)]),
lit_des_id=int(lit_ids[lit_datas.index(lit_value)]), depth=row_value[7],
lit_com=row_value[8], pal_fea=row_value[9], lit_fea=row_value[10],
por_fea=row_value[11]))
else:
err_data.append('第' + str(exc_row) + '行')
if r_sum:
Rock.objects.bulk_create(r_data)
if err_data:
return Response({'code': 1, 'msg': '共{0}条数据上传成功'.format(str(r_sum)),
'err_data': '共{0}条数据上传失败,部分错误数据如下：{1}，请查看格式或图片是否不存在'.format(
str(len(err_data)), ','.join(err_data[:10]))},
status=status.HTTP_201_CREATED)
else:
return Response({'code': 0, 'msg': '共{0}条数据上传成功'.format(str(r_sum)), 'err_data': '共0条数据失败'},
status=status.HTTP_201_CREATED)
else:
return Response({'code': -3, 'msg': '共0条数据上传成功，请检查数据格式或图片未上传',
'err_data': '共{0}条数据上传失败'.format(str(len(err_data)))},
status=status.HTTP_400_BAD_REQUEST)
else:
return Response({'code': -2, 'msg': 'excel列标题格式错误'})
except Exception as e:
print(e)
return Response({'code': -1, 'msg': '无法打开文件'}, status=status.HTTP_400_BAD_REQUEST) else:
return Response({'code': -1, 'msg': '文件格式不正确'},
status=status.HTTP_400_BAD_REQUEST)
这样便较好的解决了批量上传图片和对应字段的问题，注意：验证一定要较为全面，还有文件读写一定要分片读（可以利用chunks()方法，可规定大小），防止文件过大，占用大量内存。