一.流程及主要请求接口
每日凌晨1点开始,服务器定时自动请求淘宝联盟数据,请求完毕之后,执行一个存储过程对数据进行整理,删除过期...购买数量<...的商品......,请求接口分别有(tbk_item_get_response、tbk_ju_tqg_get_response、tbk_dg_item_coupon_get_response 、taobao.ju.items.search)
1.tbk_item_get_response:
通用商品请求api接口,这个接口可以传入所需商品的详情参数进行请求, 联盟app和阿里百川手淘app都有这个接口的权限,但是这个接口无法请求到带有优惠券的商品..... 下面说下联盟app和阿里百川手淘app接口的区别,如果申请阿里百川类型的的app,是没有优惠券这个接口请求权限的,但是阿里百川的接口请求次数每日是100万,而联盟的请求次数每日限制10万,各有好处,我这里是将两个都注册了,api分开使用就行了。阿里百川的appid负责客户端登录,查询用户淘宝账户信息/ 联盟appid负责服务端请求商品......。
2.taobao.ju.items.search:
这个接口是请求聚划算的商品,这个接口的商品都比较好,我看到很多导购app上有聚划算标志的商品,但我当前请求这个接口反馈的数据为null,淘宝技术双11比较忙所以叫我过了去问。
3.tbk_dg_item_coupon_get_response
这个接口是必需的,联盟优惠券接口,如果你是注册的阿里百川手淘sdk,就无法请求改接口,所以要请求该接口必需要申请联盟的appid,
3.tbk_ju_tqg_get_response
抢购api,这个api共用,联盟app和百川app都能申请,请购上面主要的商品就是店铺大额优惠券,比如够卖100返减50的优惠券....所有券都是1元一张。
二.途中所遇问题
1.数据请求方法
我这里请求用的java,服务端提供了httpclient封装好的sdk,但是有坑,直接调用返回数据会报错,而且乱码,当然我使用时遇到了这个问题,也许你不会遇到,建议先试用官方封装的httpclient sdk如果不行,看我下面的方法
public class ZTaobaokePost { private static final String SIGN_METHOD_MD5 = "md5"; private static final String SIGN_METHOD_HMAC = "hmac"; private static final String CHARSET_UTF8 = "utf-8"; private static final String CONTENT_ENCODING_GZIP = "gzip"; //http://gw.api.tbsandbox.com/router/rest // 阿里百川 private static final String serverUrl = ? private static final String appKey = ?; // 可替换为您的沙箱环境应用的appKey private static final String appSecret = ?; // 可替换为您的沙箱环境应用的appSecret private static final String sessionKey = ?; // 必须替换为沙箱账号授权得到的真实有效sessionKey //淘宝联盟 private static final String serverUrlLM = ? private static final String appKeyLM = ?; // 可替换为您的沙箱环境应用的appKey private static final String appSecretLM =? // 可替换为您的沙箱环境应用的appSecret private static final String sessionKeyLM = ?; // 必须替换为沙箱账号授权得到的真实有效sessionKey //isOrNoSessionKey==0没有 1=有sessionKey授权 public static String shareTaobaokePost( Map<String, String> params ) throws IOException { params.put("platform", "2"); params.put("app_key", appKeyLM); // params.put("", ""); // 签名参数 params.put("sign", signTopRequest(params, appSecretLM, SIGN_METHOD_HMAC)); // 请用API return callApi(new URL(serverUrl), params); } /** * 对TOP请求进行签名。 */ private static String signTopRequest(Map<String, String> params, String secret, String signMethod) throws IOException { // 第一步:检查参数是否已经排序 String[] keys = params.keySet().toArray(new String[0]); Arrays.sort(keys); // 第二步:把所有参数名和参数值串在一起 StringBuilder query = new StringBuilder(); if (SIGN_METHOD_MD5.equals(signMethod)) { query.append(secret); } for (String key : keys) { String value = params.get(key); if (isNotEmpty(key) && isNotEmpty(value)) { query.append(key).append(value); } } // 第三步:使用MD5/HMAC加密 byte[] bytes; if (SIGN_METHOD_HMAC.equals(signMethod)) { bytes = encryptHMAC(query.toString(), secret); } else { query.append(secret); bytes = encryptMD5(query.toString()); } // 第四步:把二进制转化为大写的十六进制 return byte2hex(bytes); } /** * 对字节流进行HMAC_MD5摘要。 */ private static byte[] encryptHMAC(String data, String secret) throws IOException { byte[] bytes = null; try { SecretKey secretKey = new SecretKeySpec(secret.getBytes(CHARSET_UTF8), "HmacMD5"); Mac mac = Mac.getInstance(secretKey.getAlgorithm()); mac.init(secretKey); bytes = mac.doFinal(data.getBytes(CHARSET_UTF8)); } catch (GeneralSecurityException gse) { throw new IOException(gse.toString()); } return bytes; } /** * 对字符串采用UTF-8编码后,用MD5进行摘要。 */ private static byte[] encryptMD5(String data) throws IOException { return encryptMD5(data.getBytes(CHARSET_UTF8)); } /** * 对字节流进行MD5摘要。 */ private static byte[] encryptMD5(byte[] data) throws IOException { byte[] bytes = null; try { MessageDigest md = MessageDigest.getInstance("MD5"); bytes = md.digest(data); } catch (GeneralSecurityException gse) { throw new IOException(gse.toString()); } return bytes; } /** * 把字节流转换为十六进制表示方式。 */ private static String byte2hex(byte[] bytes) { StringBuilder sign = new StringBuilder(); for (int i = 0; i < bytes.length; i++) { String hex = Integer.toHexString(bytes[i] & 0xFF); if (hex.length() == 1) { sign.append("0"); } sign.append(hex.toUpperCase()); } return sign.toString(); } private static String callApi(URL url, Map<String, String> params) throws IOException { String query = buildQuery(params, CHARSET_UTF8); byte[] content = {}; if (query != null) { content = query.getBytes(CHARSET_UTF8); } HttpURLConnection conn = null; OutputStream out = null; String rsp = null; try { conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("POST"); conn.setDoInput(true); conn.setDoOutput(true); conn.setConnectTimeout(30000000); conn.setReadTimeout(300000000); conn.setRequestProperty("Host", url.getHost()); conn.setRequestProperty("Accept", "text/xml,text/javascript"); conn.setRequestProperty("User-Agent", "top-sdk-java"); conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + CHARSET_UTF8); out = conn.getOutputStream(); out.write(content); rsp = getResponseAsString(conn); } finally { if (out != null) { out.close(); } if (conn != null) { conn.disconnect(); } } return rsp; } private static String buildQuery(Map<String, String> params, String charset) throws IOException { if (params == null || params.isEmpty()) { return null; } StringBuilder query = new StringBuilder(); Set<Entry<String, String>> entries = params.entrySet(); boolean hasParam = false; for (Entry<String, String> entry : entries) { String name = entry.getKey(); String value = entry.getValue(); // 忽略参数名或参数值为空的参数 if (isNotEmpty(name) && isNotEmpty(value)) { if (hasParam) { query.append("&"); } else { hasParam = true; } query.append(name).append("=").append(URLEncoder.encode(value, charset)); } } return query.toString(); } private static String getResponseAsString(HttpURLConnection conn) throws IOException { String charset = getResponseCharset(conn.getContentType()); if (conn.getResponseCode() < 400) { String contentEncoding = conn.getContentEncoding(); if (CONTENT_ENCODING_GZIP.equalsIgnoreCase(contentEncoding)) { return getStreamAsString(new GZIPInputStream(conn.getInputStream()), charset); } else { return getStreamAsString(conn.getInputStream(), charset); } } else {// Client Error 4xx and Server Error 5xx throw new IOException(conn.getResponseCode() + " " + conn.getResponseMessage()); } } private static String getStreamAsString(InputStream stream, String charset) throws IOException { try { Reader reader = new InputStreamReader(stream, charset); StringBuilder response = new StringBuilder(); final char[] buff = new char[1024]; int read = 0; while ((read = reader.read(buff)) > 0) { response.append(buff, 0, read); } return response.toString(); } finally { if (stream != null) { stream.close(); } } } private static String getResponseCharset(String ctype) { String charset = CHARSET_UTF8; if (isNotEmpty(ctype)) { String[] params = ctype.split(";"); for (String param : params) { param = param.trim(); if (param.startsWith("charset")) { String[] pair = param.split("=", 2); if (pair.length == 2) { if (isNotEmpty(pair[1])) { charset = pair[1].trim(); } } break; } } } return charset; } private static boolean isNotEmpty(String value) { int strLen; if (value == null || (strLen = value.length()) == 0) { return false; } for (int i = 0; i < strLen; i++) { if ((Character.isWhitespace(value.charAt(i)) == false)) { return true; } } return false; } }
2.多线程轮询控制中遇到的问题
由于服务器的配置1g 1核,所以暂时只选择了每次20个线程,每个线程100条数据,每次线程轮询反回2000条数据,然后将2000条数据使用事务插入数据库, 这里遇到一个也坑,很多时候轮询返回数据之后,执行事务插入时,是一个异步过程,所以没等数据插入成功线程池就执行了关闭,然后又跑去轮询新的线程请求,这样就会出现一个 线程池的线程关闭代码没有执行成功,导致线程没被成功释放掉。当这样的情况多发生几次没被释放的线程达到服务器的承受范围时,服务器就卡着了,这个问题解决方法,将线程池类定义成单例模式,在每次重新轮询时,判断线程池是否成功关闭,如果没,新轮询前再关闭一次,解决了这个问题。